摘要 | 第4-6页 |
Abstract | 第6-7页 |
第1章 绪论 | 第11-19页 |
1.1 大数据处理的新特征及Map/Reduce型海量数据处理平台 | 第11-13页 |
1.1.1 大数据处理的新特征 | 第11-12页 |
1.1.2 Map/Reduce型海量数据处理平台 | 第12-13页 |
1.2 Map/Reduce型海量数据处理平台中内存资源分配的现状及不足 | 第13-15页 |
1.3 基于预测的动态内存资源分配技术及其面临的新挑战 | 第15页 |
1.4 本文的主要贡献 | 第15-16页 |
1.5 本文的组织结构 | 第16-17页 |
1.6 本章小结 | 第17-19页 |
第2章 相关工作 | 第19-27页 |
2.1 Map/Reduce平台概述 | 第19-20页 |
2.1.1 Map/Reduce并行计算模型 | 第19页 |
2.1.2 Map/Reduce运行时环境 | 第19-20页 |
2.2 典型Map/Reduce平台Hadoop及其资源管理系统 | 第20-21页 |
2.3 资源管理相关研究工作 | 第21-26页 |
2.3.1 资源分配技术相关研究 | 第21-24页 |
2.3.2 资源预测技术相关研究 | 第24-26页 |
2.4 本章小结 | 第26-27页 |
第3章 面向Map/Reduce平台的内存资源动态分配架构模型与工作流程 | 第27-33页 |
3.1 总体架构模型 | 第27-29页 |
3.2 任务内存资源使用预测架构模型 | 第29页 |
3.3 内存资源动态分配层架构模型 | 第29-31页 |
3.4 基于预测的内存资源动态分配的工作流程 | 第31页 |
3.5 本章小结 | 第31-33页 |
第4章 面向Map/Reduce平台的任务内存资源使用预测方法 | 第33-45页 |
4.1 任务内存资源使用特征及预测可行性分析 | 第33-35页 |
4.2 任务内存资源使用量预测方法概述 | 第35-36页 |
4.3 任务内存资源使用预测模型的建立 | 第36-40页 |
4.3.1 模型选择和建模方法概述 | 第36-37页 |
4.3.2 预测样本的建立 | 第37页 |
4.3.3 预测模型的建立 | 第37-39页 |
4.3.4 回归方程的显著性检验 | 第39页 |
4.3.5 预测模型的修正 | 第39-40页 |
4.4 任务内存资源再分配量计算 | 第40-44页 |
4.4.1 任务内存再分配量计算方法概述 | 第40-41页 |
4.4.2 任务内存追加的判断 | 第41页 |
4.4.3 任务内存释放的判断 | 第41-42页 |
4.4.4 任务内存追加或释放量的计算 | 第42-44页 |
4.5 本章小结 | 第44-45页 |
第5章 面向Map/Reduce平台的内存资源动态分配方法 | 第45-49页 |
5.1 任务内存资源动态分配方法概述 | 第45-46页 |
5.2 任务内存追加策略 | 第46-48页 |
5.2.1 任务内存追加总流程 | 第46-47页 |
5.2.2 任务抢占优先级的计算 | 第47-48页 |
5.3 任务内存释放策略 | 第48页 |
5.4 本章小结 | 第48-49页 |
第6章 面向Map/Reduce平台的基于预测的动态资源分配系统的实现 | 第49-57页 |
6.1 Hadoop资源分配介绍 | 第49-51页 |
6.2 Predra系统框架 | 第51-53页 |
6.3 Predra数据组织模型 | 第53-54页 |
6.4 任务内存资源使用预测功能的实现 | 第54页 |
6.5 任务内存资源动态分配功能的实现 | 第54-55页 |
6.6 本章小结 | 第55-57页 |
第7章 性能测试与分析 | 第57-79页 |
7.1 测试负载 | 第57-60页 |
7.1.1 测试负载构建需求与现有测试负载的不足 | 第57-58页 |
7.1.2 测试负载的生成 | 第58-60页 |
7.2 性能评价指标 | 第60-62页 |
7.2.1 系统总体性能评价指标 | 第60-61页 |
7.2.2 预测与系统性能开销评价指标 | 第61-62页 |
7.3 测试结果与分析 | 第62-78页 |
7.3.1 测试环境 | 第62页 |
7.3.2 系统性能测试与分析 | 第62-70页 |
7.3.3 Predra系统可变参数测试与性能分析 | 第70-75页 |
7.3.4 预测误差与抢占率分析 | 第75-78页 |
7.4 本章小结 | 第78-79页 |
结论 | 第79-81页 |
参考文献 | 第81-87页 |
攻读硕士学位期间所发表的学术论文 | 第87-89页 |
致谢 | 第89页 |