HDFS下小文件存储优化相关技术研究
| 摘要 | 第1-5页 |
| ABSTRACT | 第5-9页 |
| 第一章 绪论 | 第9-17页 |
| ·研究背景和意义 | 第9-10页 |
| ·研究现状 | 第10-15页 |
| ·硕士期间主要工作 | 第15页 |
| ·本文主要工作及结构安排 | 第15-17页 |
| ·本文主要工作 | 第15-16页 |
| ·本文结构 | 第16-17页 |
| 第二章 HDFS文件系统介绍 | 第17-26页 |
| ·HDFS架构 | 第17-19页 |
| ·Namenode | 第18页 |
| ·Datanode | 第18页 |
| ·Client | 第18-19页 |
| ·HDFS元数据缓存策略 | 第19页 |
| ·HDFS的副本放置策略 | 第19-20页 |
| ·HDFS读写文件 | 第20-24页 |
| ·写文件 | 第20-22页 |
| ·读文件 | 第22-24页 |
| ·文件删除和恢复 | 第24页 |
| ·HDFS小文件性能分析 | 第24-26页 |
| 第三章 现有小文件I/O的方法分析 | 第26-31页 |
| ·HBase | 第26-28页 |
| ·将小文件整合成大文件 | 第28-29页 |
| ·多Namenode | 第29-31页 |
| 第四章 HDFS的针对小文件的改进方案 | 第31-42页 |
| ·设计思想 | 第31页 |
| ·接口 | 第31页 |
| ·新的架构 | 第31-33页 |
| ·数据块 | 第33-34页 |
| ·块尺寸大小 | 第33页 |
| ·块的创建 | 第33-34页 |
| ·元数据 | 第34-37页 |
| ·元数据结构 | 第34-35页 |
| ·元数据缓存策略 | 第35-36页 |
| ·元数据更新策略 | 第36-37页 |
| ·租约管理 | 第37-38页 |
| ·小文件I/O | 第38-42页 |
| ·写文件 | 第38-39页 |
| ·读文件 | 第39-41页 |
| ·删除和修改文件 | 第41-42页 |
| 第五章 小文件I/O进一步优化 | 第42-52页 |
| ·Cache技术介绍 | 第42-44页 |
| ·分布独立式Cache | 第43-44页 |
| ·协同式Cache | 第44页 |
| ·我的设计 | 第44-48页 |
| ·设计原理 | 第44-45页 |
| ·Cache结构 | 第45-46页 |
| ·Cache置换策略 | 第46-47页 |
| ·Cache一致性 | 第47-48页 |
| ·使用动态副本解决热点数据 | 第48-52页 |
| ·动态副本创建策略 | 第48-49页 |
| ·动态副本放置策略 | 第49-50页 |
| ·动态副本删除策略 | 第50-52页 |
| 第六章 实验和数据分析 | 第52-56页 |
| ·测试环境 | 第52页 |
| ·测试方法 | 第52-53页 |
| ·测试结果 | 第53-56页 |
| ·第一组 | 第53-54页 |
| ·第二组 | 第54-56页 |
| 第七章 总结和展望 | 第56-58页 |
| 参考文献 | 第58-60页 |
| 致谢 | 第60-61页 |
| 攻读硕士学位期间发表的论文 | 第61-62页 |
