摘要 | 第2-3页 |
ABSTRACT | 第3-4页 |
第一章 引言 | 第8-10页 |
1.1 分布式存储系统中冗余机制的必要性以及额外的开销 | 第8页 |
1.2 本文研究工作概述 | 第8-9页 |
1.3 本文的组织结构 | 第9-10页 |
第二章 背景及其相关工作 | 第10-24页 |
2.1 分布式存储系统 | 第10页 |
2.2 副本和编码 | 第10-17页 |
2.2.1 副本 | 第10-12页 |
2.2.2 编码 | 第12-17页 |
2.3 通过副本策略降低Hadoop集群的能耗 | 第17-20页 |
2.4 异构网络环境下的再生码 | 第20-23页 |
2.5 本章小结 | 第23-24页 |
第三章 通过副本策略降低Hadoop集群能耗 | 第24-41页 |
3.1 节能的备份策略 | 第24-29页 |
3.1.1 HDFS备份策略 | 第24页 |
3.1.2 节能的备份策略 | 第24-29页 |
3.2 节能的调度策略 | 第29-34页 |
3.2.1 节能调度策略的设计 | 第29-30页 |
3.2.2 问题描述 | 第30-32页 |
3.2.3 近似算法 | 第32-34页 |
3.2.4 可靠性和可用性 | 第34页 |
3.3 实验和性能评估 | 第34-40页 |
3.3.1 实验环境 | 第35-36页 |
3.3.2 节点文件比率 | 第36页 |
3.3.3 数据本地化 | 第36-37页 |
3.3.4 能量消耗 | 第37-39页 |
3.3.5 作业执行时间 | 第39-40页 |
3.4 本章小结 | 第40-41页 |
第四章 通过再生码降低数据修复时间 | 第41-65页 |
4.1 系统总设计 | 第41-44页 |
4.2 存储框架 | 第44-47页 |
4.2.1 存储模块 | 第45-46页 |
4.2.2 存储控制模块 | 第46-47页 |
4.3 计算框架 | 第47-50页 |
4.3.1 计算控制模块 | 第48页 |
4.3.2 计算模块 | 第48-49页 |
4.3.3 监控模块 | 第49-50页 |
4.4 客户端框架 | 第50-51页 |
4.5 编解码框架 | 第51-57页 |
4.5.1 算法设计 | 第51-54页 |
4.5.2 伽罗华域 | 第54页 |
4.5.3 编码模块 | 第54-56页 |
4.5.4 解码模块 | 第56-57页 |
4.6 性能测试 | 第57-64页 |
4.6.1 实验环境和配置 | 第57-58页 |
4.6.2 网络环境异构 | 第58-59页 |
4.6.3 编码任务等待时间 | 第59-62页 |
4.6.4 移植到HDFS | 第62-64页 |
4.7 本章小结 | 第64-65页 |
第五章 总结与展望 | 第65-67页 |
5.1 总结 | 第65-66页 |
5.2 展望 | 第66-67页 |
参考文献 | 第67-71页 |
致谢 | 第71-72页 |
攻读学位期间发表的学术论文目录 | 第72-73页 |