| 致谢 | 第5-6页 |
| 摘要 | 第6-7页 |
| ABSTRACT | 第7页 |
| 目录 | 第8-10页 |
| 1 引言 | 第10-14页 |
| 1.1 研究的目的和意义 | 第10-11页 |
| 1.2 研究内容 | 第11-12页 |
| 1.3 本文结构 | 第12-13页 |
| 1.4 小结 | 第13-14页 |
| 2 Hadoop平台概述 | 第14-21页 |
| 2.1 Hadoop分布式文件系统 | 第14-15页 |
| 2.2 MapReduce基本构架 | 第15-16页 |
| 2.3 Hadoop MapReduce作业的生命周期 | 第16-19页 |
| 2.4 MapReduce作业调度机制 | 第19-20页 |
| 2.5 小结 | 第20-21页 |
| 3 Hadoop调度算法 | 第21-31页 |
| 3.1 FIFO调度算法 | 第21-22页 |
| 3.2 Hadoop多用户作业调度器 | 第22-29页 |
| 3.2.1 HOD | 第22-23页 |
| 3.2.2 计算能力调度算法 | 第23-26页 |
| 3.2.3 公平份额调度算法 | 第26-29页 |
| 3.3 Capacity Scheduler与Fair Scheduler对比 | 第29-30页 |
| 3.4 小结 | 第30-31页 |
| 4 基于数据块间的数据预取的Hadoop作业调度算法 | 第31-44页 |
| 4.1 Hadoop0.20.2任务调度策略 | 第31-32页 |
| 4.1.1 任务调度策略的优化与改进 | 第32页 |
| 4.1.2 算法实现 | 第32页 |
| 4.2 数据本地性存在的问题及解决方案 | 第32-34页 |
| 4.2.1 任务调度策略存在的问题 | 第33页 |
| 4.2.2 块间预取 | 第33-34页 |
| 4.3 基于数据块间资源预取的调度算法的设计 | 第34-41页 |
| 4.3.1 算法的设计 | 第34-35页 |
| 4.3.2 预选 TT | 第35-37页 |
| 4.3.3 任务推测执行原理 | 第37-38页 |
| 4.3.4 预选作业任务 | 第38-39页 |
| 4.3.5 基于数据块间的资源预取 | 第39-41页 |
| 4.4 基于数据块间资源预取的调度算法的实现 | 第41-43页 |
| 4.4.1 开发环境 | 第41页 |
| 4.4.2 算法的具体实现 | 第41-43页 |
| 4.5 本章小结 | 第43-44页 |
| 5 实验分析与证明 | 第44-57页 |
| 5.1 实验环境部署 | 第44-48页 |
| 5.1.1 伪分布集群配置 | 第44-45页 |
| 5.1.2 集群实验 | 第45-48页 |
| 5.2 数据本地性分析 | 第48-51页 |
| 5.3 作业响应时间分析 | 第51-56页 |
| 5.4 本章小结 | 第56-57页 |
| 6 结论 | 第57-59页 |
| 6.1 全文工作总结 | 第57-58页 |
| 6.2 展望 | 第58-59页 |
| 参考文献 | 第59-62页 |
| 附录A | 第62-66页 |
| 学位论文数据集 | 第66页 |
