Hadoop平台下海量小文件处理技术的应用研究
| 摘要 | 第3-4页 |
| abstract | 第4-5页 |
| 第一章 绪论 | 第8-14页 |
| 1.1 课题背景及研究意义 | 第8-10页 |
| 1.2 研究现状及存在的问题 | 第10-11页 |
| 1.3 研究的主要内容 | 第11-12页 |
| 1.4 论文结构 | 第12-14页 |
| 第二章 相关理论和技术 | 第14-24页 |
| 2.1 分布式文件系统 | 第14-15页 |
| 2.2 分布式集群Hadoop | 第15-16页 |
| 2.3 分布式文件系统HDFS | 第16-19页 |
| 2.4 MapReduce编程框架 | 第19-22页 |
| 2.5 本章小结 | 第22-24页 |
| 第三章 小文件系统分析与设计 | 第24-40页 |
| 3.1 HDFS小文件处理问题分析 | 第24-27页 |
| 3.1.1 HDFS的小文件问题 | 第24-25页 |
| 3.1.2 HDFS提供的小文件问题处理方案 | 第25-27页 |
| 3.2 小文件优化存取设计 | 第27-39页 |
| 3.2.1 总体设计思想 | 第27-30页 |
| 3.2.2 基于相似度的小文件合并 | 第30-32页 |
| 3.2.3 缓存层设计 | 第32-34页 |
| 3.2.4 小文件索引的结构设计 | 第34-36页 |
| 3.2.5 映射和预取策略 | 第36-39页 |
| 3.3 本章小结 | 第39-40页 |
| 第四章 小文件系统实现 | 第40-48页 |
| 4.1 系统实现的模块结构 | 第40-42页 |
| 4.2 小文件预处理 | 第42-44页 |
| 4.3 小文件合并器 | 第44-46页 |
| 4.4 小文件索引器 | 第46-47页 |
| 4.5 本章小结 | 第47-48页 |
| 第五章 测试与分析 | 第48-56页 |
| 5.1 测试平台搭建 | 第48-49页 |
| 5.2 性能指标 | 第49页 |
| 5.3 测试结果与分析 | 第49-55页 |
| 5.3.1 数据集 | 第50页 |
| 5.3.2 系统存储效率对比与分析 | 第50-52页 |
| 5.3.3 文件访问时间对比与分析 | 第52-53页 |
| 5.3.4 文件访问性能对比与分析 | 第53-55页 |
| 5.4 本章小结 | 第55-56页 |
| 第六章 总结与展望 | 第56-60页 |
| 6.1 总结 | 第56-57页 |
| 6.2 展望 | 第57-60页 |
| 参考文献 | 第60-64页 |
| 致谢 | 第64页 |
