| 摘要 | 第4-6页 |
| Abstract | 第6-7页 |
| 第1章 绪论 | 第11-17页 |
| 1.1 研究背景 | 第11-13页 |
| 1.1.1 大数据处理技术发展背景 | 第11-12页 |
| 1.1.2 Spark数据处理平台 | 第12-13页 |
| 1.2 Spark平台中既有资源分配方式及不足 | 第13-15页 |
| 1.2.1 目前Spark平台资源分配方式 | 第13-14页 |
| 1.2.2 目前Spark平台资源分配方式存在的不足 | 第14-15页 |
| 1.3 本文的主要贡献 | 第15-16页 |
| 1.4 本文的组织结构 | 第16页 |
| 1.5 本章小结 | 第16-17页 |
| 第2章 相关工作 | 第17-25页 |
| 2.1 海量数据处理平台发展概述 | 第17-18页 |
| 2.1.1 海量数据处理应用新特征 | 第17页 |
| 2.1.2 新型海量数据处理平台发展历程 | 第17-18页 |
| 2.2 Spark平台概述 | 第18-20页 |
| 2.2.1 Spark平台架构 | 第18页 |
| 2.2.2 Spark并行计算模型 | 第18-19页 |
| 2.2.3 Spark运行时环境 | 第19页 |
| 2.2.4 Spark平台作业调度 | 第19-20页 |
| 2.3 资源管理系统 | 第20-21页 |
| 2.3.1 YARN平台 | 第20页 |
| 2.3.2 Mesos平台 | 第20-21页 |
| 2.4 资源管理相关研究工作 | 第21-24页 |
| 2.4.1 资源分配技术相关研究 | 第21-22页 |
| 2.4.2 资源调度算法相关研究 | 第22-24页 |
| 2.5 本章小结 | 第24-25页 |
| 第3章 任务执行器资源动态调整决策模型 | 第25-35页 |
| 3.1 任务执行器资源使用特征分析 | 第25-27页 |
| 3.1.1 单任务资源使用特征分析 | 第25-26页 |
| 3.1.2 任务对资源累积使用特征分析 | 第26-27页 |
| 3.2 任务执行器资源使用均衡-饱和度定义 | 第27-29页 |
| 3.3 任务执行器资源动态调整决策模型 | 第29-33页 |
| 3.3.1 主要设计思想及核心定义 | 第29-30页 |
| 3.3.2 任务执行器资源动态调整决策算法 | 第30-33页 |
| 3.4 本章小结 | 第33-35页 |
| 第4章 任务执行器资源组合分配策略 | 第35-43页 |
| 4.1 多任务执行器资源组合调度策略的设计目标 | 第35-38页 |
| 4.1.1 问题描述 | 第35-37页 |
| 4.1.2 目标函数的建立 | 第37-38页 |
| 4.2 基于蚁群算法的多任务执行器资源动态分配策略设计 | 第38-42页 |
| 4.2.1 核心定义与约束条件 | 第38-40页 |
| 4.2.2 基于蚁群算法的多任务执行器资源动态分配策略 | 第40-41页 |
| 4.2.3 时间复杂度分析 | 第41-42页 |
| 4.3 本章小结 | 第42-43页 |
| 第5章 任务执行器资源动态分配原型系统实现 | 第43-53页 |
| 5.1 DRSpark系统总体框架 | 第43-45页 |
| 5.2 基于任务执行器资源动态分配方法元数据组织模型 | 第45-47页 |
| 5.2.1 平台资源数据组织模型 | 第45-46页 |
| 5.2.2 平台资源请求数据组织模型 | 第46页 |
| 5.2.3 Spark平台任务执行器数据组织模型 | 第46-47页 |
| 5.3 基于蚁群算法的任务执行器资源动态分配技术实现 | 第47-51页 |
| 5.3.1 任务执行器资源动态调整决策功能实现 | 第47-49页 |
| 5.3.2 任务执行器资源动态分配技术的功能能实现 | 第49-51页 |
| 5.4 本章小结 | 第51-53页 |
| 第6章 性能测试与分析 | 第53-75页 |
| 6.1 测试负载 | 第53-56页 |
| 6.1.1 Spark平台多应用混合负载现状 | 第53页 |
| 6.1.2 测试负载与数据集选取 | 第53-54页 |
| 6.1.3 负载混合比例 | 第54-55页 |
| 6.1.4 负载分发原则 | 第55页 |
| 6.1.5 混合负载构造结果 | 第55-56页 |
| 6.2 性能评价指标 | 第56-58页 |
| 6.2.1 任务吞吐率 | 第56页 |
| 6.2.2 应用平均周转时间 | 第56页 |
| 6.2.3 节点平均CPU利用率 | 第56页 |
| 6.2.4 节点平均内存利用率 | 第56-57页 |
| 6.2.5 任务吞吐率提升比重 | 第57页 |
| 6.2.6 应用平均周转时间提升比重 | 第57页 |
| 6.2.7 节点平均CPU利用率提升比重 | 第57-58页 |
| 6.2.8 节点平均内存利用率提升比重 | 第58页 |
| 6.3 测试结果与分析 | 第58-73页 |
| 6.3.1 测试环境 | 第58页 |
| 6.3.2 系统性能测试与分析 | 第58-68页 |
| 6.3.3 DRSpark系统可变参数测试与性能分析 | 第68-73页 |
| 6.4 本章小结 | 第73-75页 |
| 结论 | 第75-77页 |
| 参考文献 | 第77-81页 |
| 攻读硕士学位期间所发表的学术论文 | 第81-83页 |
| 致谢 | 第83页 |
