摘要 | 第4-6页 |
Abstract | 第6-7页 |
第1章 绪论 | 第10-18页 |
1.1 Map/Reduce 型海量数据处理平台及其特征 | 第10-12页 |
1.1.1 海量数据处理应用的新特征 | 第10-11页 |
1.1.2 Map/Reduce 型海量数据处理平台 | 第11-12页 |
1.2 Map/Reduce 平台中既有作业调度策略现状及存在的不足 | 第12-14页 |
1.3 Map/Reduce 平台中可抢占式作业调度方法面临的挑战 | 第14-15页 |
1.4 本文的主要贡献 | 第15页 |
1.5 本文的组织结构 | 第15-16页 |
1.6 本章小结 | 第16-18页 |
第2章 相关工作 | 第18-26页 |
2.1 Map/Reduce 平台概述 | 第18-19页 |
2.1.1 Map/Reduce 并行编程模型 | 第18页 |
2.1.2 Map/Reduce 运行时环境 | 第18-19页 |
2.2 典型 Map/Reduce 型数据处理平台 Hadoop | 第19-20页 |
2.3 作业调度策略相关研究工作 | 第20-24页 |
2.3.1 传统数据处理平台作业调度策略相关研究工作 | 第20-22页 |
2.3.2 Map/Reduce 平台作业调度策略相关研究工作 | 第22-24页 |
2.4 本章小结 | 第24-26页 |
第3章 面向 Map/Reduce 平台的可抢占式作业调度架构及任务状态模型 | 第26-30页 |
3.1 面向 Map/Reduce 平台可抢占式作业调度架构 | 第26页 |
3.2 集成可抢占式作业调度方法的 Map/Reduce 平台中任务状态模型 | 第26-29页 |
3.2.1 Reduce 任务状态定义及转移条件 | 第27-28页 |
3.2.2 Map 任务状态定义及转移条件 | 第28-29页 |
3.3 本章小结 | 第29-30页 |
第4章 面向 Map/Reduce 平台的 Reduce 任务资源抢占模型及作业调度策略 | 第30-40页 |
4.1 面向 Map/Reduce 平台可抢占式作业调度方法 Reduce 任务资源抢占模型 | 第30-34页 |
4.1.1 Map 任务剩余执行时间评估模型 | 第30-31页 |
4.1.2 Reduce 任务拷贝剩余处理时间评估模型 | 第31-33页 |
4.1.3 Reduce 任务资源抢占模型 | 第33-34页 |
4.2 面向 Map/Reduce 平台可抢占式作业调度方法 Reduce 任务重调度模型 | 第34-35页 |
4.3 面向 Map/Reduce 平台可抢占式作业调度策略 | 第35-39页 |
4.4 本章小结 | 第39-40页 |
第5章 集成可抢占式作业调度方法的 Map/Reduce 平台实现 | 第40-52页 |
5.1 Predoop 的系统框架 | 第40-42页 |
5.2 面向 Map/Reduce 平台可抢占式作业调度方法元数据组织模型 | 第42-45页 |
5.2.1 Map/Reduce 平台资源数据组织模型 | 第42-43页 |
5.2.2 Map/Reduce 平台资源请求数据组织模型 | 第43-44页 |
5.2.3 Map/Reduce 平台作业数据组织模型 | 第44页 |
5.2.4 Map/Reduce 平台任务数据组织模型 | 第44-45页 |
5.3 Predoop 的系统实现 | 第45-50页 |
5.3.1 Reduce 任务挂起和重调度决策功能实现 | 第45-47页 |
5.3.2 Reduce 任务挂起和恢复机制实现 | 第47-49页 |
5.3.3 可抢占式作业调度策略实现 | 第49-50页 |
5.4 本章小结 | 第50-52页 |
第6章 集成可抢占式作业调度方法的 Map/Reduce 平台性能分析 | 第52-66页 |
6.1 Map/Reduce 平台测试负载构造 | 第52-56页 |
6.1.1 现有 Map/Reduce 平台测试负载介绍 | 第52-53页 |
6.1.2 测试负载生成 | 第53-55页 |
6.1.3 测试所采用的性能评价指标 | 第55-56页 |
6.2 测试环境搭建 | 第56-57页 |
6.2.1 测试代码准备 | 第56页 |
6.2.2 测试环境搭建 | 第56-57页 |
6.3 测试结果分析 | 第57-65页 |
6.3.1 Predoop 系统性能测试与分析 | 第57-59页 |
6.3.2 Predoop 系统阈值参数设置与性能分析 | 第59-61页 |
6.3.3 Predoop 系统挂起和恢复机制开销测试与分析 | 第61-62页 |
6.3.4 Predoop 系统可扩展性测试与分析 | 第62-65页 |
6.4 本章小结 | 第65-66页 |
结论 | 第66-68页 |
参考文献 | 第68-72页 |
攻读硕士学位期间所发表的学术论文 | 第72-74页 |
致谢 | 第74页 |