HDFS/Hadoop中基于网络编码的容错存储技术研究
摘要 | 第4-5页 |
Abstract | 第5-6页 |
第一章 绪论 | 第9-15页 |
1.1 研究背景与意义 | 第9-10页 |
1.2 典型分布式存储系统 | 第10-11页 |
1.3 分布式容错技术 | 第11-12页 |
1.4 本文工作 | 第12-13页 |
1.5 论文结构 | 第13-15页 |
第二章 分布式数据容错存储相关技术 | 第15-26页 |
2.1 完全副本 | 第15-16页 |
2.1.1 完全副本存储原理 | 第15-16页 |
2.1.2 完全副本修复原理 | 第16页 |
2.2 纠删码 | 第16-18页 |
2.2.1 纠删码存储原理 | 第17页 |
2.2.2 纠删码修复原理 | 第17-18页 |
2.3 网络编码 | 第18-24页 |
2.3.1 再生码概念 | 第18-21页 |
2.3.2 修复模型 | 第21-22页 |
2.3.3 精确修复再生码 | 第22-24页 |
2.4 容错技术的指标比较 | 第24页 |
2.5 本章小结 | 第24-26页 |
第三章 NC-HDFS体系架构设计 | 第26-37页 |
3.1 HDFS系统架构 | 第26-30页 |
3.2 面向编码的NC-HDFS容错存储架构设计 | 第30-33页 |
3.2.1 文件写流程 | 第30-31页 |
3.2.2 文件读流程 | 第31-32页 |
3.2.3 文件修复流程 | 第32-33页 |
3.3 NC-HDFS中面向编码接口的设计 | 第33-36页 |
3.3.1 通用编码类设计 | 第33-34页 |
3.3.2 基于文件大小自适应优化编码策略 | 第34-35页 |
3.3.3 NC-HDFS编码接口设计 | 第35-36页 |
3.4 本章小结 | 第36-37页 |
第四章:NC-HDFS的系统实现 | 第37-53页 |
4.1 基于RS纠删码的具体实现 | 第37-43页 |
4.1.1 基于RS纠删码的写流程 | 第37-39页 |
4.1.2 基于RS纠删码的读流程 | 第39-41页 |
4.1.3 基于RS纠删码的修复流程 | 第41-43页 |
4.2 基于MBR再生码的具体实现 | 第43-52页 |
4.2.1 基于MBR再生码的写流程 | 第44-47页 |
4.2.2 基于MBR再生码的读流程 | 第47-49页 |
4.2.3 基于MBR再生码的修复流程 | 第49-52页 |
4.3 本章小结 | 第52-53页 |
第五章:实验与分析 | 第53-61页 |
5.1 实验环境 | 第53页 |
5.2 实验结果与分析 | 第53-60页 |
5.2.1 理论分析 | 第54-57页 |
5.2.2 实验分析 | 第57-60页 |
5.3 本章小结 | 第60-61页 |
第六章:结束与展望 | 第61-63页 |
6.1 本文总结 | 第61-62页 |
6.2 未来展望 | 第62-63页 |
致谢 | 第63-64页 |
参考文献 | 第64-69页 |
附录 附录A 攻读硕士学位期间参加的科研项目 | 第69-70页 |