基于HDFS的分布式文件系统存储研究与优化
摘要 | 第5-6页 |
ABSTRACT | 第6页 |
第一章 绪论 | 第9-16页 |
1.1 研究背景及意义 | 第9-10页 |
1.2 国内外研究现状 | 第10-14页 |
1.2.1 HDFS存储效率 | 第11-13页 |
1.2.2 提高修复效率 | 第13-14页 |
1.3 论文研究内容 | 第14-16页 |
第二章 HDFS与纠删码 | 第16-29页 |
2.1 HDFS | 第16-20页 |
2.1.1 HDFS架构 | 第16-19页 |
2.1.2 纠删码在HDFS中的应用 | 第19-20页 |
2.2 纠删码 | 第20-28页 |
2.2.1 纠删码与有限域 | 第20-23页 |
2.2.2 Reed-solomon码 | 第23-26页 |
2.2.3 基于异或运算的纠删码 | 第26-28页 |
2.3 本章小结 | 第28-29页 |
第三章 HDFS存储优化 | 第29-54页 |
3.1 RS码存在的问题 | 第29-30页 |
3.2 优化方案 | 第30-35页 |
3.2.1 添加局部校验块 | 第30-32页 |
3.2.2 再优化 | 第32-35页 |
3.3 实现优化方案 | 第35-47页 |
3.3.1 初始化及分组 | 第36-41页 |
3.3.2 编码过程的实现 | 第41-42页 |
3.3.3 解码过程的实现 | 第42-47页 |
3.4 在HDFS中部署 | 第47-52页 |
3.4.1 修改Raid源码 | 第47-49页 |
3.4.2 配置与部署 | 第49-52页 |
3.5 本章小结 | 第52-54页 |
第四章 实验与结果分析 | 第54-70页 |
4.1 可靠性分析 | 第54-58页 |
4.2 理论修复开销 | 第58页 |
4.3 实验结果分析 | 第58-69页 |
4.3.1 编码测试 | 第59-64页 |
4.3.2 解码测试 | 第64-69页 |
4.3.3 其他优化 | 第69页 |
4.4 本章小结 | 第69-70页 |
第五章 全文总结与展望 | 第70-72页 |
5.1 全文总结 | 第70-71页 |
5.2 后续工作展望 | 第71-72页 |
致谢 | 第72-73页 |
参考文献 | 第73-76页 |