摘要 | 第3-4页 |
abstract | 第4-5页 |
第1章 绪论 | 第8-17页 |
1.1 课题研究背景和意义 | 第8-9页 |
1.2 国内外研究现状 | 第9-14页 |
1.2.1 HDFS文件副本存储技术 | 第10-12页 |
1.2.2 HDFS下小文件存取技术 | 第12-14页 |
1.3 论文的主要研究工作 | 第14-15页 |
1.4 论文的结构安排 | 第15-17页 |
第2章 HDFS文件副本存储改进方法的研究 | 第17-41页 |
2.1 HDFS原有文件多副本存储策略分析 | 第17-18页 |
2.2 文件多副本并行存储方案的优化设计 | 第18-19页 |
2.3 文件多副本并行存储方案的实现 | 第19-40页 |
2.3.1 HDFS原有文件存储过程分析 | 第20-29页 |
2.3.2 并行方案的具体实现 | 第29-40页 |
2.4 本章小结 | 第40-41页 |
第3章 HDFS上基于SequenceFile小文件合并方案的改进研究 | 第41-67页 |
3.1 Hadoop下小文件合并方案的选择 | 第41-44页 |
3.1.1 Hadoop Archive | 第42页 |
3.1.2 CombineFileInputFormat | 第42-43页 |
3.1.3 SequenceFile | 第43-44页 |
3.2 基于SequenceFile多个小文件查找分析 | 第44-45页 |
3.3 基于MapReduce的多SequenceFile文件的实现 | 第45-47页 |
3.3.1 多SequenceFile文件输出的实现 | 第45-47页 |
3.4 基于B+树的小文件索引的设计与实现 | 第47-58页 |
3.4.1 设计思想 | 第49页 |
3.4.2 一级索引结构的设计 | 第49-50页 |
3.4.3 二级索引结构的设计 | 第50-51页 |
3.4.4 基于B+树索引的创建功能的实现 | 第51-56页 |
3.4.5 基于B+树索引的查找功能的实现 | 第56-58页 |
3.5 HDFS原有文件读取过程的分析 | 第58-59页 |
3.6 基于B+树的小文件读取方案的优化设计 | 第59-60页 |
3.7 基于B+树索引的小文件读取过程的实现 | 第60-66页 |
3.7.1 HDFS原有文件读取方案分析 | 第60-64页 |
3.7.2 基于B+树索引读取过程的具体实现 | 第64-66页 |
3.8 本章小结 | 第66-67页 |
第4章 性能测试与分析 | 第67-79页 |
4.1 实验环境配置 | 第67-68页 |
4.2 实验结果的分析与比较 | 第68-77页 |
4.2.1 文件副本并行存储的验证与分析 | 第68-71页 |
4.2.2 基于B+树索引的小文件读取的验证与分析 | 第71-77页 |
4.3 本章小结 | 第77-79页 |
第5章 总结与展望 | 第79-82页 |
5.1 论文总结工作 | 第79-80页 |
5.2 论文展望工作 | 第80-82页 |
致谢 | 第82-83页 |
参考文献 | 第83-86页 |
攻读硕士期间参与的项目 | 第86页 |