| 摘要 | 第1-5页 |
| Abstract | 第5-7页 |
| 目录 | 第7-10页 |
| 第1章 绪论 | 第10-18页 |
| ·研究的背景及意义 | 第10-13页 |
| ·国内外研究现状 | 第13-16页 |
| ·学术界研究现状 | 第13-14页 |
| ·工业界研究现状 | 第14-15页 |
| ·现状分析 | 第15-16页 |
| ·本文研究的内容 | 第16页 |
| ·本文的组织结构 | 第16-18页 |
| 第2章 Hadoop 下小文件处理面临的问题研究 | 第18-25页 |
| ·Hadoop 主要框架结构分析 | 第18-21页 |
| ·HDFS 体系结构与读写流程 | 第18-20页 |
| ·MapReduce 体系结构与计算过程 | 第20-21页 |
| ·Hadoop 集群下海量小文件处理 | 第21-24页 |
| ·小文件的定义及其来源 | 第21-22页 |
| ·Hadoop 下海量小文件处理问题分析 | 第22-23页 |
| ·Hadoop 下海量小文件解决方案分析 | 第23-24页 |
| ·本章小结 | 第24-25页 |
| 第3章 海量小文件存储方案优化设计 | 第25-49页 |
| ·存储方案总体设计 | 第25-31页 |
| ·引言 | 第25-26页 |
| ·架构设计 | 第26-27页 |
| ·存储方案设计 | 第27-30页 |
| ·方案的可行性分析 | 第30页 |
| ·实现方案需要解决的关键问题 | 第30-31页 |
| ·判重器设计 | 第31-34页 |
| ·MD5 算法介绍 | 第31-33页 |
| ·判重器设计 | 第33-34页 |
| ·合并器设计 | 第34-38页 |
| ·文件合并方法 | 第34-36页 |
| ·合并器设计 | 第36-38页 |
| ·索引器的设计 | 第38-41页 |
| ·索引的存储 | 第38-39页 |
| ·索引的设计 | 第39-40页 |
| ·索引的优化 | 第40-41页 |
| ·缓存器的设计 | 第41-46页 |
| ·索引的数据结构 | 第41-42页 |
| ·索引信息表的容器 | 第42-43页 |
| ·索引信息的插入和查找 | 第43-44页 |
| ·数据一致性 | 第44-45页 |
| ·多机缓存器 | 第45-46页 |
| ·压缩器的设计 | 第46-48页 |
| ·本章小结 | 第48-49页 |
| 第4章 Hadoop 集群下文件上传下载系统的实现 | 第49-58页 |
| ·需求分析与整体设计 | 第49-51页 |
| ·详细设计 | 第51-53页 |
| ·系统实现 | 第53-57页 |
| ·系统代码结构 | 第53-54页 |
| ·文件上传模块 | 第54-56页 |
| ·文件下载模块 | 第56-57页 |
| ·本章小结 | 第57-58页 |
| 第5章 海量小文件存储方案的性能评估 | 第58-73页 |
| ·实验平台的搭建 | 第58-60页 |
| ·硬件环境 | 第58-59页 |
| ·软件环境 | 第59-60页 |
| ·实验过程及数据记录 | 第60-65页 |
| ·实验过程 | 第60-62页 |
| ·上传下载数据记录 | 第62页 |
| ·集群性能监测 | 第62-65页 |
| ·实验结果分析 | 第65-72页 |
| ·理论分析 | 第65页 |
| ·读写性能比较和数据完整性分析 | 第65-67页 |
| ·存储消耗比较 | 第67-68页 |
| ·内存消耗比较 | 第68-72页 |
| ·网络流量分析 | 第72页 |
| ·本章小结 | 第72-73页 |
| 第6章 总结与展望 | 第73-75页 |
| ·本文工作的总结 | 第73页 |
| ·未来工作的展望 | 第73-75页 |
| 致谢 | 第75-76页 |
| 参考文献 | 第76-78页 |