摘要 | 第5-6页 |
Abstract | 第6-7页 |
第1章 绪论 | 第10-17页 |
1.1 研究背景及其现状 | 第10-11页 |
1.1.1 Hadoop技术的产生 | 第10页 |
1.1.2 研究意义 | 第10-11页 |
1.2 研究现状 | 第11-14页 |
1.3 研究内容 | 第14-15页 |
1.4 本文的组织结构 | 第15-17页 |
第2章 Hadoop平台及技术 | 第17-23页 |
2.1 Hadoop平台分析 | 第17-20页 |
2.1.1 Hadoop概述 | 第17页 |
2.1.2 Hadoop的并行处理框架MapReduce | 第17-20页 |
2.2 Hadoop平台调度算法研究 | 第20-22页 |
2.2.1 先进先出调度算法 | 第20-21页 |
2.2.2 计算能力调度算法 | 第21-22页 |
2.2.3 公平份额调度算法 | 第22页 |
2.2.4 LATE调度算法 | 第22页 |
2.3 本章小结 | 第22-23页 |
第3章 基于多队列和轮转的MQWR算法 | 第23-43页 |
3.1 Hadoop调度框架 | 第23-24页 |
3.2 异构环境下资源调度的问题和改进 | 第24-28页 |
3.2.1 节点异构 | 第25页 |
3.2.2 负载异构 | 第25-26页 |
3.2.3 作业优先级 | 第26-27页 |
3.2.4 基础算法及改进思想 | 第27-28页 |
3.3 区分作业类型 | 第28-31页 |
3.3.1 MapReduce数据处理流程 | 第28-29页 |
3.3.2 区分工作类型算法建模 | 第29-30页 |
3.3.3 调度策略 | 第30-31页 |
3.4 动态调整节点资源数量 | 第31-34页 |
3.4.1 调整思路 | 第31-32页 |
3.4.2 调整方法 | 第32-34页 |
3.5 MQWR调度算法 | 第34-41页 |
3.5.1 基础算法 | 第35-36页 |
3.5.2 MQWR算法思想 | 第36页 |
3.5.3 MQWR算法执行过程 | 第36-41页 |
3.5.4 算法分析 | 第41页 |
3.6 本章小结 | 第41-43页 |
第4章 基于作业时间和指数平滑的TMF调度算法 | 第43-49页 |
4.1 Hadoop基础算法及存在的问题 | 第43-44页 |
4.2 改进的思路 | 第44-45页 |
4.3 TMF算法思想 | 第45-46页 |
4.4 TMF算法执行过程 | 第46-48页 |
4.5 本章小结 | 第48-49页 |
第5章 实验与分析 | 第49-56页 |
5.1 实验基准和实验环境 | 第49页 |
5.2 MQWR算法性能测试 | 第49-52页 |
5.2.1 类型相同的作业测试 | 第49-50页 |
5.2.2 类型不同的作业测试 | 第50-52页 |
5.3 TMF算法性能测试 | 第52-55页 |
5.3.1 异构环境下作业完成时间 | 第52-53页 |
5.3.2 资源利用率的提升 | 第53-54页 |
5.3.3 作业平均响应时间 | 第54-55页 |
5.4 本章小结 | 第55-56页 |
结论 | 第56-58页 |
参考文献 | 第58-62页 |
攻读硕士学位期间承担的科研任务与主要成果 | 第62-63页 |
致谢 | 第63-64页 |
作者简介 | 第64页 |