基于Hadoop平台的MapReduce作业调度算法研究
摘要 | 第3-4页 |
Abstract | 第4-5页 |
第一章 绪论 | 第11-15页 |
1.1 研究背景 | 第11-12页 |
1.2 研究现状 | 第12-13页 |
1.3 论文的主要工作 | 第13页 |
1.4 论文的组织架构 | 第13-15页 |
第二章 Hadoop及作业调度算法 | 第15-28页 |
2.1 Hadoop平台 | 第15-16页 |
2.2 MapReduce计算框架 | 第16-19页 |
2.2.1 MapReduce编程模型和架构 | 第16-17页 |
2.2.2 MapReduce处理流程 | 第17-19页 |
2.3 分布式文件系统HDFS | 第19-20页 |
2.4 Hadoop现有的作业调度算法 | 第20-25页 |
2.4.1 FIFO调度算法 | 第20页 |
2.4.2 公平调度算法 | 第20-23页 |
2.4.3 计算能力调度算法 | 第23-25页 |
2.5 Hadoop改进调度算法研究 | 第25-27页 |
2.5.1 延迟调度算法 | 第25页 |
2.5.2 实时作业调度算法 | 第25页 |
2.5.3 自适应调度算法 | 第25-26页 |
2.5.4 LATE调度算法 | 第26-27页 |
2.6 小结 | 第27-28页 |
第三章 Hadoop平台的作业调度算法的改进 | 第28-43页 |
3.1 基于数据预处理的公平调度算法(DP-L) | 第28-38页 |
3.1.1 问题分析 | 第28-29页 |
3.1.2 算法原理 | 第29-31页 |
3.1.3 生成节点队列 | 第31-33页 |
3.1.4 选取预备任务 | 第33-35页 |
3.1.5 数据获取 | 第35-36页 |
3.1.6 算法性能分析 | 第36-38页 |
3.2 基于关键资源的公平调度算法(DP-R) | 第38-42页 |
3.2.0 问题分析 | 第38-39页 |
3.2.1 算法原理 | 第39-40页 |
3.2.2 算法描述 | 第40-41页 |
3.2.3 算法性能分析 | 第41-42页 |
3.3 小结 | 第42-43页 |
第四章 实验及结果分析 | 第43-61页 |
4.1 实验环境 | 第43-45页 |
4.2 实验结果及性能分析 | 第45-60页 |
4.3 小结 | 第60-61页 |
第五章 总结与展望 | 第61-63页 |
5.1 总结 | 第61页 |
5.2 展望 | 第61-63页 |
参考文献 | 第63-66页 |
致谢 | 第66-67页 |
攻读硕士学位期间的研究成果 | 第67页 |