摘要 | 第3-4页 |
Abstract | 第4页 |
1 绪论 | 第9-18页 |
1.1 研究背景 | 第9-11页 |
1.1.1 大数据社会背景 | 第9页 |
1.1.2 大数据技术发展 | 第9-10页 |
1.1.3 MapReduce大数据框架 | 第10-11页 |
1.2 研究现状 | 第11-15页 |
1.3 研究意义 | 第15页 |
1.4 主要研究工作 | 第15-17页 |
1.4.1 主要研究内容 | 第15页 |
1.4.2 论文组织结构 | 第15-17页 |
1.5 本章小节 | 第17-18页 |
2 MapReduce框架下的任务调度 | 第18-24页 |
2.1 基于MapReduce框架的分布式平台 | 第18-20页 |
2.1.1 Hadoop大数据分布式平台 | 第18页 |
2.1.2 Spark大数据分布式平台 | 第18-19页 |
2.1.3 Hadoop与Spark的比较 | 第19-20页 |
2.2 基于MapReduce框架的任务调度研究场景 | 第20-23页 |
2.2.1 任务调度概况 | 第20-21页 |
2.2.2 Hadoop批处理任务调度应用场景 | 第21-22页 |
2.2.3 Spark环境下Web服务资源调度应用 | 第22-23页 |
2.3 本章小节 | 第23-24页 |
3 Hadoop环境下批处理任务调度 | 第24-46页 |
3.1 资源调度问题 | 第24-29页 |
3.1.1 多阶段混合流水作业调度 | 第24页 |
3.1.2 问题说明 | 第24页 |
3.1.3 数学描述 | 第24-26页 |
3.1.4 调度模型 | 第26-28页 |
3.1.5 约束条件 | 第28页 |
3.1.6 最大完成时间下界 | 第28-29页 |
3.2 任务调度启发式算法 | 第29-30页 |
3.2.1 启发式算法应用 | 第29页 |
3.2.2 启发式算法分类 | 第29-30页 |
3.3 带调度准备时间的任务调度相关工作 | 第30-34页 |
3.3.1 Johnson规则的排序算法介绍 | 第30-32页 |
3.3.2 基于作业最早可用的启发式算法(EASS) | 第32页 |
3.3.3 基于作业最早完成时间的启发式算法(EFSS) | 第32-33页 |
3.3.4 基于任务调度的启发式算法(TBS) | 第33-34页 |
3.4 改进的基于DAG模型的调度的启发式算法 | 第34-38页 |
3.4.1 建立任务调度的DAG模型 | 第34-36页 |
3.4.2 任务调度最早可用的启发式算法(DAGEA) | 第36-37页 |
3.4.3 任务调度最早完成时间的启发式算法(DAGEF) | 第37-38页 |
3.5 实验 | 第38-45页 |
3.5.1 实验结果 | 第38-44页 |
3.5.3 实验分析 | 第44-45页 |
3.6 本章小结 | 第45-46页 |
4 Spark环境下Web服务的资源调度 | 第46-56页 |
4.1 Spark环境下的Web服务 | 第46-48页 |
4.1.1 工作原理 | 第46页 |
4.1.2 模型结构 | 第46-47页 |
4.1.3 调度问题 | 第47-48页 |
4.2 Spark环境下Web服务调度策略 | 第48-49页 |
4.2.1 资源调度方式 | 第48页 |
4.2.2 资源调度过程 | 第48页 |
4.2.3 资源调度改进 | 第48-49页 |
4.2.4 资源调度粒度 | 第49页 |
4.3 设计与实现 | 第49-52页 |
4.3.1 资源调度通信 | 第49-50页 |
4.3.2 资源调度方案 | 第50-51页 |
4.3.3 节点资源水平计算 | 第51-52页 |
4.3.4 资源调度实现 | 第52页 |
4.4 实验 | 第52-55页 |
4.4.1 实验平台 | 第53页 |
4.4.2 实验分析 | 第53-55页 |
4.5 本章小结 | 第55-56页 |
5 结论与展望 | 第56-58页 |
5.1 全文总结 | 第56页 |
5.2 研究展望 | 第56-58页 |
致谢 | 第58-59页 |
参考文献 | 第59-63页 |
附录 | 第63页 |