摘要 | 第3-5页 |
ABSTRACT | 第5-7页 |
第一章 绪论 | 第10-18页 |
1.1 课题背景与意义 | 第10-12页 |
1.2 国内外研究现状 | 第12-16页 |
1.3 本文研究的目标与内容 | 第16页 |
1.4 论文组织结构安排 | 第16-18页 |
第二章 Hadoop云计算平台 | 第18-28页 |
2.1 Hadoop平台简介 | 第18-22页 |
2.1.1 Hadoop与MapReduce | 第18-21页 |
2.1.2 Hbase数据管理 | 第21页 |
2.1.3 Hive数据管理 | 第21-22页 |
2.2 Hadoop下多种调度器介绍及分析 | 第22-27页 |
2.2.1 默认调度器FIFO Scheduler | 第22页 |
2.2.2 公平调度器Fair Scheduler | 第22-24页 |
2.2.3 计算能力调度器Capacity Scheduler | 第24-26页 |
2.2.4 资源感知调度器Resource Aware Scheduler | 第26页 |
2.2.5 自适应调度器Adaptive Scheduler | 第26-27页 |
2.3 本章小结 | 第27-28页 |
第三章 Hadoop平台下新型调度器的设计与开发 | 第28-36页 |
3.1 关键技术 | 第28-30页 |
3.1.1 Hadoop调度框架 | 第28-29页 |
3.1.2 Hadoop调度器编写 | 第29-30页 |
3.2 新型调度器的设计思想 | 第30-34页 |
3.2.1 计算能力调度器原理及问题 | 第31-32页 |
3.2.2 模拟退火算法的原理 | 第32-33页 |
3.2.3 改进的调度策略 | 第33-34页 |
3.3 新型调度策略的伪代码 | 第34页 |
3.4 本章小结 | 第34-36页 |
第四章 基于新调度器的Hadoop平台实现 | 第36-52页 |
4.1 Hadoop平台下调度器的切换 | 第36-40页 |
4.2 调度器的功能模块划分 | 第40-41页 |
4.3 新型调度器各功能模块的实现 | 第41-51页 |
4.3.1 调度器类与监听器类的实现 | 第42-43页 |
4.3.2 新型调度器NewScheduler的配置 | 第43-51页 |
4.4 本章小结 | 第51-52页 |
第五章 基于新型调度器的云计算平台测试 | 第52-64页 |
5.1 测试目的 | 第52页 |
5.2 测试环境 | 第52页 |
5.3 测试内容 | 第52-53页 |
5.4 测试过程与结果 | 第53-64页 |
5.4.1 调度器切换 | 第53-57页 |
5.4.2 一般性大内存作业的调度情况对比 | 第57-61页 |
5.4.3 超高型大内存作业的调度情况对比 | 第61-64页 |
第六章 总结与展望 | 第64-66页 |
6.1 本文工作总结 | 第64-65页 |
6.2 未来工作的展望 | 第65-66页 |
参考文献 | 第66-70页 |
致谢 | 第70-72页 |
攻读学位期间发表的学术论文目录 | 第72页 |