| 摘要 | 第6-7页 |
| Abstract | 第7-8页 |
| 第一章 绪论 | 第13-24页 |
| 1.1 研究背景 | 第13-20页 |
| 1.1.1 大数据技术概述 | 第13-15页 |
| 1.1.2 Hadoop MapReduce技术简介 | 第15-17页 |
| 1.1.3 Hadoop MapReduce框架存在的主要问题 | 第17-18页 |
| 1.1.4 Hadoop MapReduce系统性能优化研究现状 | 第18-20页 |
| 1.2 本文研究内容及主要工作 | 第20-22页 |
| 1.2.1 基于资源环境感知模型的slot动态分配优化 | 第21页 |
| 1.2.2 基于作业开销感知模型的作业调度优化 | 第21-22页 |
| 1.3 本文的组织结构 | 第22-24页 |
| 第二章 基于资源环境感知的Slot动态分配优化 | 第24-38页 |
| 2.1 Hadoop MapReduce任务分配框架分析 | 第24-27页 |
| 2.1.1 作业执行过程 | 第24-25页 |
| 2.1.2 任务分配流程 | 第25-27页 |
| 2.2 基于资源环境感知的slot动态分配优化方案 | 第27-37页 |
| 2.2.1 任务分配流程的优化 | 第28-29页 |
| 2.2.2 TaskTracker申请任务时的资源环境分析和感知方法 | 第29-33页 |
| 2.2.3 JobTracker分配任务时计算节点slot的动态分配调整方法 | 第33-36页 |
| 2.2.4 TaskTracker执行任务 | 第36-37页 |
| 2.3 本章小结 | 第37-38页 |
| 第三章 基于作业开销感知的动态作业调度优化 | 第38-54页 |
| 3.1 Hadoop平台作业调度过程 | 第38-42页 |
| 3.1.1 作业调度基本过程 | 第38-39页 |
| 3.1.2 现有作业调度算法分析 | 第39-42页 |
| 3.2 基于作业开销特征感知的动态作业调度方法 | 第42-52页 |
| 3.2.1 作业执行的资源消耗模式 | 第43-44页 |
| 3.2.2 任务的状态转换 | 第44-46页 |
| 3.2.3 动态的作业开销分析和感知方法 | 第46-48页 |
| 3.2.4 基于作业开销的均衡混搭式作业调度算法 | 第48-50页 |
| 3.2.5 基于作业开销的作业调度算法优化及实现 | 第50-52页 |
| 3.3 本章小结 | 第52-54页 |
| 第四章 资源和作业调度优化算法实验 | 第54-63页 |
| 4.1 实验环境 | 第54页 |
| 4.2 基于资源环境感知的Slot动态分配优化方案实验测评 | 第54-58页 |
| 4.2.1 系统开销对比实验 | 第54-55页 |
| 4.2.2 执行效率对比实验 | 第55-56页 |
| 4.2.3 集群负载对比试验 | 第56-58页 |
| 4.3 基于作业开销感知的作业调度优化实验测评 | 第58-62页 |
| 4.3.1 作业执行时间测评 | 第59-60页 |
| 4.3.2 集群利用率实验测评 | 第60-62页 |
| 4.4 本章小结 | 第62-63页 |
| 第五章 结束语 | 第63-65页 |
| 5.1 本文工作总结 | 第63页 |
| 5.2 进一步工作 | 第63-65页 |
| 致谢 | 第65-66页 |
| 参考文献 | 第66-69页 |
| 附录 | 第69-70页 |
