大数据作业调度优化模型及算法研究
| 摘要 | 第5-7页 |
| Abstract | 第7-8页 |
| 第1章 绪论 | 第12-24页 |
| 1.1 大数据概述 | 第12-15页 |
| 1.1.1 大数据的概念 | 第12页 |
| 1.1.2 大数据的应用 | 第12-13页 |
| 1.1.3 大数据的处理 | 第13-15页 |
| 1.2 云计算概述 | 第15-20页 |
| 1.2.1 云计算的概念 | 第15-17页 |
| 1.2.2 云计算的划分 | 第17-18页 |
| 1.2.3 云计算的结构 | 第18-19页 |
| 1.2.4 云计算与大数据的关系 | 第19-20页 |
| 1.3 本文的研究意义 | 第20-21页 |
| 1.4 本文的工作和解决的问题 | 第21-22页 |
| 1.5 论文的组织结构 | 第22-24页 |
| 第2章 大数据作业调度现状及问题 | 第24-46页 |
| 2.1 大数据作业调度问题概述 | 第24-28页 |
| 2.1.1 大数据作业调度的体系结构 | 第24-27页 |
| 2.1.2 大数据作业调度的关键技术 | 第27页 |
| 2.1.3 大数据作业调度的特点 | 第27-28页 |
| 2.2 大数据作业调度中的优化 | 第28-29页 |
| 2.3 大数据计算模型及调度方案 | 第29-37页 |
| 2.3.1 MapReduce模型 | 第29-33页 |
| 2.3.2 Dryad架构 | 第33-34页 |
| 2.3.3 Pregel架构 | 第34-35页 |
| 2.3.4 Strom架构 | 第35页 |
| 2.3.5 YARN架构 | 第35-37页 |
| 2.3.6 Spark架构 | 第37页 |
| 2.4 大数据计算中常见调度算法 | 第37-46页 |
| 2.4.1 绿色任务调度算法 | 第37-38页 |
| 2.4.2 以提高资源利用率为目标的调度算法 | 第38页 |
| 2.4.3 基于经济学的调度算法 | 第38-39页 |
| 2.4.4 MapReduce中的调度算法 | 第39-43页 |
| 2.4.4.1 FIFO算法 | 第39页 |
| 2.4.4.2 Capacity算法 | 第39-40页 |
| 2.4.4.3 Fair算法 | 第40-41页 |
| 2.4.4.4 推测式算法 | 第41-43页 |
| 2.4.5 大数据中工作流的调度 | 第43-46页 |
| 第3章 负载均衡的MapReduce调度框架 | 第46-60页 |
| 3.1 研究动机 | 第46-49页 |
| 3.2 负载模型及优化模型 | 第49-51页 |
| 3.3 RB-MR中算法详细设计 | 第51-55页 |
| 3.3.1 分区分配算法 | 第51-53页 |
| 3.3.2 动态调度算法 | 第53页 |
| 3.3.3 reduce任务的加入 | 第53-54页 |
| 3.3.4 容错机制 | 第54-55页 |
| 3.3.5 reduce任务的执行 | 第55页 |
| 3.4 实验与性能评价 | 第55-58页 |
| 3.5 小结 | 第58-60页 |
| 第4章 基于成本和运行时间的调度算法 | 第60-74页 |
| 4.1 研究动机 | 第60-61页 |
| 4.2 系统建模 | 第61-64页 |
| 4.3 基于遗传算法的调度算法 | 第64-70页 |
| 4.3.1 资源分配算法 | 第64-66页 |
| 4.3.2 调度算法设计与实现 | 第66-67页 |
| 4.3.3 实验与分析 | 第67-70页 |
| 4.4 基于博弈论的调度算法 | 第70-73页 |
| 4.4.1 模型与证明 | 第70-71页 |
| 4.4.2 系统架构与算法设计 | 第71页 |
| 4.4.3 实验与分析 | 第71-73页 |
| 4.5 小结 | 第73-74页 |
| 第5章 基于用户截止时间限定的调度算法 | 第74-92页 |
| 5.1 算法模式抽象 | 第74-78页 |
| 5.1.1 简单模式 | 第74-75页 |
| 5.1.2 迭代模式 | 第75-76页 |
| 5.1.3 链模式 | 第76-78页 |
| 5.2 排队网络建模 | 第78-81页 |
| 5.2.1 模型描述 | 第78-79页 |
| 5.2.2 到达率计算 | 第79页 |
| 5.2.3 模型求解 | 第79-81页 |
| 5.3 MPSA算法 | 第81-86页 |
| 5.3.1 系统结构 | 第81-82页 |
| 5.3.2 用户到达率与平均工作量预测 | 第82页 |
| 5.3.3 资源分配算法 | 第82-84页 |
| 5.3.4 任务动态调度算法 | 第84-86页 |
| 5.4 实验与分析 | 第86-90页 |
| 5.5 小结 | 第90-92页 |
| 第6章 多数据中心环境下大数据工作流的调度 | 第92-110页 |
| 6.1 工作流调度流程 | 第92-94页 |
| 6.2 模型和问题描述 | 第94-96页 |
| 6.3 算法说明 | 第96-101页 |
| 6.3.1 算法思想 | 第96-99页 |
| 6.3.2 模拟退火算法 | 第99-100页 |
| 6.3.3 调度算法 | 第100-101页 |
| 6.4 实验与结果分析 | 第101-109页 |
| 6.4.1 仿真实验与分析 | 第101-106页 |
| 6.4.2 真实环境的实验 | 第106-109页 |
| 6.5 小结 | 第109-110页 |
| 第7章 结论 | 第110-112页 |
| 参考文献 | 第112-119页 |
| 致谢 | 第119-120页 |
| 作者攻读博士学位期间发表的学术论文 | 第120-122页 |
| 作者从事科学研究和学习经历的简历 | 第122页 |
