摘 要
数字化信息系统中，信息的快速存储与传递至关重要。然而，在信息系统进行信息采集和传输过程中，后台数据存储中心存在大量的冗余数据，冗余数据会造成通讯和存储资源浪费，并消耗系统宝贵的电源。
面对大数据时代给大规模数据中心数据保护带来的挑战，集群重复数据删除技术能够优化存储管理，提高资源利用率，节约成本开销，从而使其变得至关重要。本子课题的主要任务是基于在线重复数据删除技术，优化系统的数据存储和传输机制，提高存储空间和带宽利用率，减少系统功耗；了解和掌握在线重复数据删除技术的基本原理；设计基于信息系统的重复数据删除机制；在Linux环境下实现一个基于信息系统的重复数据删除原型系统，并进行初步验证和性能测试。
关键词：复数据删除技术；复数据删除原型系统；Linux
Abstract
Digital information systems, fast storage and transfer vital information. However , in the information collection and transmission of information , there is a large amount of redundant data background data storage center , redundant data communications and will result in waste of storage resources , and consume valuable system power .
The era of big data challenges of large-scale data centers to bring data protection , data deduplication technology cluster to optimize storage management , improve resource utilization, cost savings , so that it becomes critical. The main task is to remove the book based on the subject line deduplication technology to optimize data storage and transmission mechanism system , increase storage space and bandwidth utilization, reduce system power consumption ; understanding and knowledge of online data deduplication technology, the basic principles ; design based on the information deduplication mechanism system ; realized in the Linux environment information system based deduplication prototype system and preliminary validation and performance testing.
Keywords : deduplication technology ; deduplication prototype system ; Linux
目 录
摘 要 1
Abstract 2
第一章 绪论 3
1.1 选题背景及意义 3
1.2 研究现状及趋势 5
1.1 本文研究的主要内容 7
第二章 重复数据删除存储系统架构 7
2.1 重复数据删除技术的基本概念 9
2.2 重复数据删除系统结构和基本原理 10
2.3 重复数据删除关键技术 13
2.3.1 数据划分方法 13
2.3.2 I/O优化技术 16
2.3.3 高可靠数据配置策略 20
2.3.4 系统可扩展性 21
2.4 本章小结 22
第三章 基于信息系统的重复数据删除机制 22
3.1 基于信息系统重复数据删除技术(De-duplication)研究 22
3.1.1 Dedupe概述 23
3.1.2 Dedupe实现要点 24
3.1.3 Dedupe关键技术 25
3.1.4 Dedupe数据安全 26
3.2 EMC Avamar重复数据删除机制的实现流程 27
第四章 基于信息系统的重复数据删除原型系统 29
4.1 基于信息系统重复数据删除原型系统 29
4.1.1 文件级与数据块级的重复数据删除原型系统 29
4.1.2 定长切割模式VS 非定长切割模式 30
4.1.3 基于备份源与基于目标端的重复数据删除原型系统 31
4.1.4 不同重复数据删除原型系统方案的对比 32
4.1.5 不同条件下重复数据删除原型系统效果对比 33
4.1.6 选择重复数据删除原型系统的原则 33
4.2 Linux环境下重复数据删除原型系统能测试 34
总 结 37
参考文献 38
致 谢 39
