| 摘要 | 第4-5页 |
| Abstract | 第5-6页 |
| 第一章 绪论 | 第13-23页 |
| 1.1 研究背景 | 第13-15页 |
| 1.1.1 大数据处理基本概念 | 第13-14页 |
| 1.1.2 重复数据删除技术概述 | 第14页 |
| 1.1.3 分布式环境下面临的挑战 | 第14-15页 |
| 1.2 研究现状及存在问题 | 第15-20页 |
| 1.2.1 去重率的研究 | 第15-17页 |
| 1.2.2 去重性能的研究 | 第17-19页 |
| 1.2.3 去重技术与大数据的结合 | 第19页 |
| 1.2.4 去重技术的潜在隐患 | 第19-20页 |
| 1.3 研究的意义及贡献 | 第20-21页 |
| 1.4 论文结构安排 | 第21-22页 |
| 1.5 小结 | 第22-23页 |
| 第二章 重复数据删除和Hadoop相关研究 | 第23-51页 |
| 2.1 重复数据删除的关键技术 | 第23-29页 |
| 2.1.1 文件级别的重复数据删除 | 第24-25页 |
| 2.1.2 基于FSP的固定分块 | 第25-26页 |
| 2.1.3 基于CDC的可变分块 | 第26-27页 |
| 2.1.4 去重处理方式相关介绍 | 第27-29页 |
| 2.2 Hadoop技术背景 | 第29-35页 |
| 2.2.1 大数据与云计算 | 第29-31页 |
| 2.2.2 Google云计算 | 第31-35页 |
| 2.3 Hadoop关键技术 | 第35-49页 |
| 2.3.1 分布式文件系统HDFS | 第36-40页 |
| 2.3.2 MapReduce计算模型 | 第40-44页 |
| 2.3.3 NoSQL数据库HBase | 第44-49页 |
| 2.4 小结 | 第49-51页 |
| 第三章 基于Hadoop分布式平台的重复数据删除机制 | 第51-69页 |
| 3.1 引言 | 第51页 |
| 3.2 Keccak指纹生成算法设计与实现 | 第51-58页 |
| 3.2.1 Keccak的确定 | 第51-53页 |
| 3.2.2 Keccak指纹算法流程 | 第53-56页 |
| 3.2.3 实验结果和分析 | 第56-58页 |
| 3.3 PHAF输入文件处理 | 第58-61页 |
| 3.3.1 小文件问题及PHAF的提出 | 第58-60页 |
| 3.3.2 实验结果和分析 | 第60-61页 |
| 3.4 Hadoop分布式平台去重设计 | 第61-67页 |
| 3.4.1 Hadoop分布式平台去重总体设计 | 第62-63页 |
| 3.4.2 分布式指纹库设计 | 第63-64页 |
| 3.4.3 Hadoop分布式平台去重详细流程和算法 | 第64-66页 |
| 3.4.4 文件访问流程 | 第66-67页 |
| 3.5 小结 | 第67-69页 |
| 第四章 实验测试和结果分析 | 第69-81页 |
| 4.1 实验环境 | 第69-77页 |
| 4.1.1 硬件参数 | 第69-71页 |
| 4.1.2 软件参数 | 第71页 |
| 4.1.3 实验平台搭建 | 第71-77页 |
| 4.2 数据集 | 第77页 |
| 4.3 实验过程及结果分析 | 第77-80页 |
| 4.4 小结 | 第80-81页 |
| 第五章 总结与展望 | 第81-83页 |
| 5.1 总结 | 第81-82页 |
| 5.2 展望 | 第82-83页 |
| 参考文献 | 第83-87页 |
| 攻读硕士学位期间发表论文及科研情况 | 第87-89页 |
| 致谢 | 第89页 |