摘要 | 第4-5页 |
ABSTRACT | 第5-6页 |
第一章 绪论 | 第9-12页 |
1.1 研究背景 | 第9-10页 |
1.2 研究现状 | 第10页 |
1.3 研究内容 | 第10-11页 |
1.4 论文的组织结构 | 第11-12页 |
第二章 Hadoop Yarn相关技术分析 | 第12-28页 |
2.1 Hadoop平台架构 | 第12-13页 |
2.2 分布式文件系统HDFS | 第13-17页 |
2.2.1 HDFS的架构 | 第13-15页 |
2.2.2 HDFS1.0存在的问题 | 第15页 |
2.2.3 HDFS2.0中的NN HA和Federation | 第15-17页 |
2.3 并行编程框架MapReduce | 第17-20页 |
2.3.1 MRv1的运行机制 | 第17-19页 |
2.3.2 MRv1存在的问题 | 第19-20页 |
2.4 资源管理系统Yarn | 第20-27页 |
2.4.1 Yarn的基本架构 | 第21-22页 |
2.4.2 Yarn的通信协议 | 第22页 |
2.4.3 Yarn的工作流程 | 第22-25页 |
2.4.4 Yarn的服务库、事件库以及状态机库 | 第25-27页 |
2.5 本章小结 | 第27-28页 |
第三章 Hadoop Yarn调度算法及其实现的研究 | 第28-42页 |
3.1 Fifo调度算法及其实现过程 | 第28-32页 |
3.2 Capacity调度算法及其实现过程 | 第32-35页 |
3.3 Fair调度算法及其实现过程 | 第35-41页 |
3.4 三种内置调度算法的优缺点分析 | 第41页 |
3.5 本章小结 | 第41-42页 |
第四章 Hadoop Yarn调度算法的改进 | 第42-51页 |
4.1 调度算法的改进方向 | 第42页 |
4.2 PFT调度算法的设计 | 第42-46页 |
4.3 PFT调度算法的实现 | 第46-49页 |
4.3.1 PFT调度器的逻辑结构 | 第46页 |
4.3.2 PFT调度器的具体实现 | 第46-49页 |
4.4 编译部署PFT调度器 | 第49-50页 |
4.5 本章小结 | 第50-51页 |
第五章 实验验证与结果分析 | 第51-58页 |
5.1 集群搭建 | 第51-52页 |
5.2 源码调试 | 第52-54页 |
5.3 实验结果分析 | 第54-57页 |
5.4 本章小结 | 第57-58页 |
第六章 总结与展望 | 第58-59页 |
6.1 总结 | 第58页 |
6.2 展望 | 第58-59页 |
参考文献 | 第59-63页 |
附录 | 第63-74页 |
附录1 | 第63-64页 |
附录2 | 第64页 |
附录3 | 第64-68页 |
附录4 | 第68-73页 |
附录5 | 第73-74页 |
致谢 | 第74-75页 |
攻读学位期间发表的学术论文目录 | 第75页 |