面向MapReduce的调度策略优化研究
| 摘要 | 第5-6页 |
| ABSTRACT | 第6-7页 |
| 第一章 引言 | 第11-20页 |
| 1.1 工作背景 | 第11-15页 |
| 1.1.1 Hadoop的起源及应用 | 第11页 |
| 1.1.2 Hadoop的迭代和优化 | 第11-12页 |
| 1.1.3 MapReduce数据本地化 | 第12-13页 |
| 1.1.4 MapReduce网络带宽消耗 | 第13-15页 |
| 1.2 研究方案 | 第15-16页 |
| 1.3 研究目标及意义 | 第16-17页 |
| 1.4 贡献与创新 | 第17-19页 |
| 1.4.1 贡献 | 第17-18页 |
| 1.4.2 创新 | 第18-19页 |
| 1.5 论文的结构安排 | 第19-20页 |
| 第二章 相关技术和相关工作 | 第20-32页 |
| 2.1 Hadoop物理集群 | 第20-22页 |
| 2.1.1 Hadoop物理集群的组织方式 | 第20-21页 |
| 2.1.2 Hadoop机架感知及其配置 | 第21-22页 |
| 2.2 HDFS文件的存储 | 第22-23页 |
| 2.2.1 HDFS的重要组件 | 第22页 |
| 2.2.2 数据块 | 第22-23页 |
| 2.2.3 数据块的组织与分布 | 第23页 |
| 2.3 Hadoop重要服务部署 | 第23-24页 |
| 2.4 MapReduce分布式计算框架 | 第24-28页 |
| 2.4.1 MapReduce重要组件介绍 | 第24-25页 |
| 2.4.2 MapReduce作业运行机制分析 | 第25-27页 |
| 2.4.3 MapReduce任务调度机制分析 | 第27-28页 |
| 2.5 MapReduce调度相关工作总结 | 第28-31页 |
| 2.5.1 让资源去靠近计算 | 第28-30页 |
| 2.5.2 让计算去靠近资源 | 第30-31页 |
| 2.6 本章小结 | 第31-32页 |
| 第三章 Bolas和Bolas+ 算法的详细设计 | 第32-51页 |
| 3.1 原始任务调度算法的问题分析 | 第32-35页 |
| 3.1.1 本地化任务选择存在的问题 | 第32-33页 |
| 3.1.2 机架内任务选择存在的问题 | 第33-34页 |
| 3.1.3 跨机架任务选择存在的问题 | 第34页 |
| 3.1.4 本地化程度不高的原因分析 | 第34-35页 |
| 3.2 Bolas任务调度算法 | 第35-43页 |
| 3.2.1 Bolas资源建模 | 第36-38页 |
| 3.2.2 计算节点性能评估 | 第38-39页 |
| 3.2.3 模型参数定义 | 第39-40页 |
| 3.2.4 Bolas算法描述 | 第40-43页 |
| 3.2.5 Bolas算法复杂度 | 第43页 |
| 3.3 Bolas+ 任务调度算法 | 第43-50页 |
| 3.3.1 Bolas+ 设计原则 | 第43-44页 |
| 3.3.2 Bolas+ 模型构建 | 第44-45页 |
| 3.3.3 Bolas+ 算法流程介绍 | 第45-49页 |
| 3.3.4 Bolas+ 算法复杂度 | 第49-50页 |
| 3.4 本章小结 | 第50-51页 |
| 第四章 Bolas和Bolas+ 算法的具体实现 | 第51-70页 |
| 4.1 系统实现的总体目标 | 第51-52页 |
| 4.2 系统实现流程分析 | 第52-57页 |
| 4.2.1 作业和任务的执行流程分析 | 第52-56页 |
| 4.2.2 Bolas任务执行流程分析 | 第56页 |
| 4.2.3 Bolas+ 任务执行流程分析 | 第56-57页 |
| 4.3 系统实现的细节分析 | 第57-69页 |
| 4.3.1 Bolas算法实现细节介绍 | 第57-64页 |
| 4.3.2 Bolas+ 算法实现细节介绍 | 第64-66页 |
| 4.3.3 系统层面实现细节 | 第66-69页 |
| 4.4 本章小结 | 第69-70页 |
| 第五章 Bolas和Bolas+ 算法的系统测试 | 第70-80页 |
| 5.1 Hadoop集群测试环境 | 第70-71页 |
| 5.2 Hadoop集群网络消耗分析 | 第71-72页 |
| 5.3 算法响应时间分析 | 第72-74页 |
| 5.4 数据本地化程度分析 | 第74-77页 |
| 5.5 执行时间分析 | 第77-79页 |
| 5.6 本章小结 | 第79-80页 |
| 第六章 总结与展望 | 第80-82页 |
| 6.1 现有工作总结 | 第80页 |
| 6.2 未来工作展望 | 第80-82页 |
| 致谢 | 第82-83页 |
| 参考文献 | 第83-87页 |
| 攻硕期间的研究成果 | 第87-88页 |
