Hadoop平台的作业调度算法研究与改进
| 摘要 | 第4-5页 |
| Abstract | 第5页 |
| 第1章 绪论 | 第8-12页 |
| 1.1 研究背景和意义 | 第8-9页 |
| 1.2 国内外研究现状 | 第9-10页 |
| 1.3 本文的研究内容 | 第10-11页 |
| 1.4 本文的内容结构 | 第11-12页 |
| 第2章 背景知识 | 第12-24页 |
| 2.1 Hadoop平台介绍 | 第12-16页 |
| 2.1.1 Hadoop分布式文件系统 | 第12-13页 |
| 2.1.2 MapReduce分布式计算模型 | 第13-16页 |
| 2.2 YARN | 第16-17页 |
| 2.3 调度器 | 第17-19页 |
| 2.3.1 事件处理 | 第18页 |
| 2.3.2 资源抢占 | 第18-19页 |
| 2.4 Hadoop原生调度器 | 第19-22页 |
| 2.4.1 FIFO调度器 | 第19-20页 |
| 2.4.2 计算能力调度器 | 第20页 |
| 2.4.3 公平调度器 | 第20-21页 |
| 2.4.4 调度算法的评价标准 | 第21-22页 |
| 2.5 本章小结 | 第22-24页 |
| 第3章 基于作业截止时间的调度算法 | 第24-42页 |
| 3.1 研究背景 | 第24页 |
| 3.2 算法基本思想 | 第24-27页 |
| 3.2.1 MapReduce运行时间分析 | 第24-25页 |
| 3.2.2 集群资源的划分与分配 | 第25-26页 |
| 3.2.3 超时任务的处理 | 第26-27页 |
| 3.3 基本资源的调度 | 第27-30页 |
| 3.3.1 YARN的资源分配方式 | 第27页 |
| 3.3.2 并发任务数与作业运行时间的关系 | 第27-28页 |
| 3.3.3 最小任务数的计算 | 第28-30页 |
| 3.4 额外资源的分配和抢占 | 第30-31页 |
| 3.5 MCTG算法工作流程 | 第31-35页 |
| 3.5.1 作业状态定义 | 第31-32页 |
| 3.5.2 任务信息的收集与反馈 | 第32-33页 |
| 3.5.3 算法工作流程 | 第33-35页 |
| 3.6 实验验证 | 第35-41页 |
| 3.6.1 实验环境 | 第35页 |
| 3.6.2 实验负载作业 | 第35-37页 |
| 3.6.3 实验内容 | 第37-41页 |
| 3.7 本章小结 | 第41-42页 |
| 第4章 Shuffle阶段网络开销优化调度算法 | 第42-58页 |
| 4.1 研究背景 | 第42页 |
| 4.2 Shuffle过程简介 | 第42-43页 |
| 4.3 影响Shuffle阶段网络开销的因素 | 第43-45页 |
| 4.3.1 Reduce任务本地性 | 第43-44页 |
| 4.3.2 分区结果 | 第44-45页 |
| 4.4 SCNRS调度算法 | 第45-51页 |
| 4.4.1 实例分析 | 第45-46页 |
| 4.4.2 算法基本思想 | 第46-47页 |
| 4.4.3 分区情况推测 | 第47-49页 |
| 4.4.4 Reduce任务节点选择 | 第49-51页 |
| 4.4.5 SCNRS算法工作流程 | 第51页 |
| 4.5 实验验证 | 第51-56页 |
| 4.5.1 实验环境 | 第51-53页 |
| 4.5.2 实验过程与结果分析 | 第53-56页 |
| 4.6 本章小结 | 第56-58页 |
| 结论 | 第58-60页 |
| 参考文献 | 第60-64页 |
| 攻读硕士学位期间所发表的学术论文 | 第64-66页 |
| 致谢 | 第66页 |
