摘要 | 第5-6页 |
Abstract | 第6页 |
第一章 绪论 | 第9-14页 |
1.1 研究背景及意义 | 第9-10页 |
1.2 国内外研究现状 | 第10-12页 |
1.2.1 基于全复制的MapReduce仿真系统研究现状 | 第10-11页 |
1.2.2 基于冗余编码的MapReduce仿真系统研究现状 | 第11-12页 |
1.3 本文研究内容 | 第12-13页 |
1.4 本文组织结构 | 第13-14页 |
第二章 相关技术研究 | 第14-31页 |
2.1 常见存储技术的研究 | 第14-20页 |
2.1.1 全复制存储技术 | 第14页 |
2.1.2 RAID存储技术 | 第14-15页 |
2.1.3 冗余编码存储技术 | 第15-20页 |
2.1.3.1 里德-所罗门码 | 第15-18页 |
2.1.3.2 Mojette编码 | 第18-20页 |
2.2 常见分布式文件存储系统的研究 | 第20-23页 |
2.2.1 HDFS的研究 | 第21-22页 |
2.2.2 RozoFS的研究 | 第22-23页 |
2.3 SimGrid分布式仿真平台的研究 | 第23-26页 |
2.4 MapReduce计算模型的研究 | 第26-30页 |
2.4.1 MapReduce架构 | 第27-28页 |
2.4.2 MapReduce工作流程 | 第28-29页 |
2.4.3 MapReduce出错处理机制 | 第29-30页 |
2.5 本章小节 | 第30-31页 |
第三章 仿真系统设计与实现 | 第31-44页 |
3.1 仿真系统架构 | 第31页 |
3.2 仿真系统数据流和工作流 | 第31-33页 |
3.2.1 仿真系统数据流 | 第32页 |
3.2.2 仿真系统工作流 | 第32-33页 |
3.3 仿真系统模块设计与实现 | 第33-43页 |
3.3.1 参数文件设置模块设计与实现 | 第33-35页 |
3.3.2 数据放置模块设计与实现 | 第35-37页 |
3.3.3 任务调度模块设计与实现 | 第37-42页 |
3.3.4 任务时间和IO模块设计与实现 | 第42-43页 |
3.4 本章小结 | 第43-44页 |
第四章 仿真实验与系统优化 | 第44-60页 |
4.1 实验网络拓扑 | 第44页 |
4.2 MapReduce应用参数提取 | 第44-52页 |
4.2.1 Hadoop平台搭建 | 第45-47页 |
4.2.2 RozoFS的搭建 | 第47-51页 |
4.2.3 基础实验参数获取 | 第51-52页 |
4.3 仿真实验工作流程 | 第52-54页 |
4.4 性能评估实验 | 第54-58页 |
4.4.1 网络拓扑的影响 | 第54-55页 |
4.4.2 Chunk块的大小影响 | 第55-56页 |
4.4.3 冗余编码参数影响 | 第56-57页 |
4.4.4 网络规模的影响 | 第57-58页 |
4.5 系统配置优化 | 第58-59页 |
4.6 存储空间消耗对比 | 第59页 |
4.7 本章小结 | 第59-60页 |
第五章 结论与展望 | 第60-61页 |
5.1 工作总结 | 第60页 |
5.2 工作展望 | 第60-61页 |
参考文献 | 第61-65页 |
硕士学位期间取得的研究成果 | 第65-66页 |
致谢 | 第66-67页 |
附表 | 第67页 |