| 摘要 | 第10-12页 |
| ABSTRACT | 第12-13页 |
| 第一章 绪论 | 第14-30页 |
| 1.1 课题研究背景及意义 | 第14-21页 |
| 1.1.1 大数据及其发展 | 第14-16页 |
| 1.1.2 大规模数据并行处理技术 | 第16-19页 |
| 1.1.3 Map Reduce技术的发展 | 第19-21页 |
| 1.1.4 研究意义总结 | 第21页 |
| 1.2 Map Reduce优化技术研究现状分析 | 第21-26页 |
| 1.2.1 Map Reduce作业执行流程 | 第22页 |
| 1.2.2 Map Reduce框架执行流程 | 第22-23页 |
| 1.2.3 Map Reduce优化技术现状分析 | 第23-25页 |
| 1.2.4 研究现状分析与总结 | 第25-26页 |
| 1.3 本文的主要工作及章节组织结构 | 第26-30页 |
| 1.3.1 论文的主要工作 | 第26-27页 |
| 1.3.2 论文的章节组织结构 | 第27-30页 |
| 第二章 基于全局索引的Map Reduce作业调度执行优化 | 第30-48页 |
| 2.1 背景知识及问题描述 | 第31-33页 |
| 2.1.1 Map Reduce背景知识 | 第31-33页 |
| 2.1.2 问题定义 | 第33页 |
| 2.1.3 开销函数及优化目标 | 第33页 |
| 2.2 相关研究 | 第33-35页 |
| 2.3 全局索引技术 | 第35-37页 |
| 2.3.1 基于Hadoop的全局数据组织与索引结构 | 第35-36页 |
| 2.3.2 基于Hadoop的全局索引的生成算法 | 第36-37页 |
| 2.4 基于全局索引的范围查询分析优化 | 第37-43页 |
| 2.4.1 条件表达式分析 | 第38页 |
| 2.4.2 可优化性判定 | 第38-39页 |
| 2.4.3 基于全局索引的任务生成算法 | 第39-41页 |
| 2.4.4 算法优化效果分析 | 第41-43页 |
| 2.5 实验验证 | 第43-47页 |
| 2.5.1 数据集及应用描述 | 第44页 |
| 2.5.2 调度开销对比 | 第44-45页 |
| 2.5.3 IO开销对比 | 第45-46页 |
| 2.5.4 作业响应时间对比 | 第46-47页 |
| 2.6 本章小结 | 第47-48页 |
| 第三章 关注数据本地性的公平任务调度算法 | 第48-64页 |
| 3.1 相关研究 | 第49-50页 |
| 3.2 问题形式化描述 | 第50-53页 |
| 3.2.1 数据本地性 | 第50-51页 |
| 3.2.2 多用户、多作业共享集群环境下的公平性 | 第51页 |
| 3.2.3 严格公平调度算法及其数据本地性分析 | 第51-53页 |
| 3.2.4 优化目标 | 第53页 |
| 3.3 K%-公平调度 | 第53-58页 |
| 3.3.1 动态任务调度规划 | 第54-56页 |
| 3.3.2 资源释放后任务队列维护 | 第56页 |
| 3.3.3 空闲计算资源遴选任务 | 第56-58页 |
| 3.4 实验验证 | 第58-62页 |
| 3.4.1 集群环境配置 | 第58-59页 |
| 3.4.2 应用负载类型 | 第59页 |
| 3.4.3 实验结果分析 | 第59-62页 |
| 3.5 本章小节 | 第62-64页 |
| 第四章 关注数据本地性的任务调度框架 | 第64-80页 |
| 4.1 相关研究 | 第65-66页 |
| 4.2 问题描述 | 第66-67页 |
| 4.2.1 数据本地性定义 | 第66-67页 |
| 4.2.2 第2优化目标函数定义 | 第67页 |
| 4.2.3 最终优化目标函数定义 | 第67页 |
| 4.3 tasks-job调度框架 | 第67-72页 |
| 4.3.1 不同调度框架下调度算法的数据结构对比 | 第68-71页 |
| 4.3.2 不同调度模型下FIFO调度算法的对比 | 第71-72页 |
| 4.4 实验验证 | 第72-78页 |
| 4.4.1 Hadoop集群环境配置 | 第73-74页 |
| 4.4.2 应用场景描述 | 第74页 |
| 4.4.3 实验结果对比分析 | 第74-78页 |
| 4.5 本章小结 | 第78-80页 |
| 第五章 关注集群计算效率的作业调度算法 | 第80-100页 |
| 5.1 相关研究 | 第81-82页 |
| 5.2 问题描述 | 第82-86页 |
| 5.2.1 前提假设 | 第83页 |
| 5.2.2 负载模型 | 第83-84页 |
| 5.2.3 集群硬件模型 | 第84页 |
| 5.2.4 调度 | 第84-86页 |
| 5.3 关注集群计算效率的调度算法 | 第86-91页 |
| 5.3.1 算法设计 | 第86-90页 |
| 5.3.2 算法时间复杂度分析讨论 | 第90-91页 |
| 5.4 实验验证 | 第91-99页 |
| 5.4.1 实验设置 | 第91-93页 |
| 5.4.2 模拟生成的应用负载模式 | 第93-94页 |
| 5.4.3 实验结果评估 | 第94-99页 |
| 5.5 本章小结 | 第99-100页 |
| 第六章 总结与展望 | 第100-104页 |
| 6.1 主要研究成果 | 第100-102页 |
| 6.2 下一步研究工作 | 第102-104页 |
| 致谢 | 第104-106页 |
| 参考文献 | 第106-116页 |
| 作者在学期间取得的学术成果 | 第116-117页 |