基于MapFile的HDFS小文件存取优化研究
| 摘要 | 第3-5页 |
| abstract | 第5-6页 |
| 第1章 绪论 | 第9-14页 |
| 1.1 研究背景 | 第9-10页 |
| 1.2 研究现状 | 第10-11页 |
| 1.2.1 HDFS小文件存取问题 | 第10页 |
| 1.2.2 国内外研究现状 | 第10-11页 |
| 1.3 研究内容 | 第11-12页 |
| 1.4 本文结构 | 第12-14页 |
| 第2章 相关研究 | 第14-23页 |
| 2.1 分布式文件系统HDFS | 第14-19页 |
| 2.1.1 HDFS基本概念 | 第14-16页 |
| 2.1.2 HDFS存储文件流程 | 第16-18页 |
| 2.1.3 HDFS读取文件流程 | 第18-19页 |
| 2.2 MapReduce编程模型 | 第19-21页 |
| 2.3 本章小结 | 第21-23页 |
| 第3章 存取优化方案的设计 | 第23-33页 |
| 3.1 HDFS存取海量小文件问题 | 第23-24页 |
| 3.2 Hadoop小文件容器 | 第24-25页 |
| 3.2.1 SequenceFile | 第24页 |
| 3.2.2 MapFile | 第24-25页 |
| 3.3 缓存技术 | 第25-31页 |
| 3.3.1 多级缓存 | 第26-27页 |
| 3.3.2 缓存穿透 | 第27-28页 |
| 3.3.3 LRU算法和LRU-K算法 | 第28-31页 |
| 3.4 文件访问因子 | 第31-32页 |
| 3.5 本章小结 | 第32-33页 |
| 第4章 存取优化方案的实现 | 第33-44页 |
| 4.1 优化方案总体实现 | 第33-34页 |
| 4.2 海量小文件读取优化实现 | 第34-38页 |
| 4.2.1 缓存模块 | 第35-36页 |
| 4.2.2 Nexit文件缓冲区域 | 第36-37页 |
| 4.2.3 缓存更新策略 | 第37-38页 |
| 4.3 海量小文件存储优化实现 | 第38-41页 |
| 4.4 小文件存取优化的量化分析 | 第41-43页 |
| 4.4.1 NameNode内存消耗 | 第41-42页 |
| 4.4.2 文件读取时间 | 第42-43页 |
| 4.5 本章小结 | 第43-44页 |
| 第5章 测试与分析 | 第44-54页 |
| 5.1 实验设计 | 第44页 |
| 5.2 实验环境 | 第44-47页 |
| 5.2.1 集群搭建 | 第44-45页 |
| 5.2.2 参数配置 | 第45-47页 |
| 5.3 测试数据 | 第47-48页 |
| 5.4 存储阶段测试 | 第48-50页 |
| 5.4.1 存储执行时间测试 | 第48-50页 |
| 5.4.2 NameNode内存消耗 | 第50页 |
| 5.5 读取阶段测试 | 第50-54页 |
| 5.5.1 无不存在文件读取 | 第50-52页 |
| 5.5.2 有不存在文件读取 | 第52-54页 |
| 第6章 总结和展望 | 第54-56页 |
| 6.1 总结 | 第54-55页 |
| 6.2 展望 | 第55-56页 |
| 致谢 | 第56-57页 |
| 参考文献 | 第57-60页 |
| 攻读学位期间的研究成果 | 第60页 |
