大规模数据处理系统中MapReduce任务划分与调度关键技术研究
| 摘要 | 第1-13页 |
| ABSTRACT | 第13-16页 |
| 第一章 绪论 | 第16-30页 |
| ·课题研究背景 | 第16-18页 |
| ·数据规模的爆炸式增长 | 第16-17页 |
| ·海量数据处理需求 | 第17-18页 |
| ·海量数据并行计算模型 | 第18-24页 |
| ·Map Reduce | 第18-20页 |
| ·其他海量数据处理技术 | 第20-22页 |
| ·海量数据处理技术挑战 | 第22-24页 |
| ·海量数据处理系统中的任务划分与调度技术 | 第24-26页 |
| ·任务划分与调度技术 | 第24-25页 |
| ·现有工作的不足 | 第25-26页 |
| ·本文主要工作 | 第26-29页 |
| ·全文组织 | 第29-30页 |
| 第二章 相关研究 | 第30-40页 |
| ·Map Reduce中的调度问题 | 第30-32页 |
| ·Map Reduce中的作业调度 | 第30-31页 |
| ·任务级调度 | 第31-32页 |
| ·Straggler与前瞻备份执行 | 第32-35页 |
| ·Map Reduce的扩展架构 | 第35-37页 |
| ·Map Reduce性能优化 | 第37-38页 |
| ·其他平台上的Map Reduce | 第38-40页 |
| 第三章 基于非精确预测的任务风险调度 | 第40-62页 |
| ·引言 | 第40-42页 |
| ·现有问题和观察 | 第42-45页 |
| ·现有时间预测的不足与挑战 | 第42页 |
| ·Map Reduce任务执行特点 | 第42-45页 |
| ·基于相似度的预测算法 | 第45-49页 |
| ·预测算法架构 | 第46页 |
| ·相似度策略 | 第46-47页 |
| ·权重策略 | 第47-48页 |
| ·开销分析 | 第48-49页 |
| ·基于风险决策的任务调度算法 | 第49-52页 |
| ·基于风险决策调度算法整体设计 | 第49-50页 |
| ·风险决策理论 | 第50-51页 |
| ·时间损益函数设计 | 第51-52页 |
| ·实验与性能分析 | 第52-60页 |
| ·实验环境与配置 | 第53页 |
| ·不同作业大小的性能比较 | 第53-55页 |
| ·混合作业的性能分析 | 第55-58页 |
| ·不同异构程度下的性能分析 | 第58页 |
| ·预测的稳定性 | 第58-60页 |
| ·本章小结 | 第60-62页 |
| 第四章 基于数据特征检测的前瞻执行 | 第62-76页 |
| ·引言 | 第62-64页 |
| ·现有问题和观察 | 第64-66页 |
| ·Map Reduce中的数据倾斜特性 | 第64-66页 |
| ·带有数据倾斜的任务调度原则 | 第66页 |
| ·基于数据特征检测的前瞻执行系统设计 | 第66-69页 |
| ·系统设计总体框架 | 第66-68页 |
| ·带有数据倾斜最慢任务识别 | 第68页 |
| ·基于数据特征任务的迁移调度 | 第68-69页 |
| ·实验分析 | 第69-75页 |
| ·同节点上资源冲突影响 | 第70页 |
| ·迁移Non-straggler性能实验结果 | 第70-72页 |
| ·参数设定分析 | 第72-75页 |
| ·本章小结 | 第75-76页 |
| 第五章 基于数据倾斜感知的动态任务划分 | 第76-94页 |
| ·引言 | 第76-78页 |
| ·数据分布分析与实验 | 第78-82页 |
| ·Map Redce中的Shuffle阶段 | 第78页 |
| ·数据的不一致分布 | 第78-80页 |
| ·数据分布的稳定性和可预测 | 第80-81页 |
| ·数据分布的定量研究和影响 | 第81-82页 |
| ·数据倾斜感知的动态任务划分 | 第82-87页 |
| ·总体设计思想与原则 | 第82-83页 |
| ·自动数据分布感知 | 第83-85页 |
| ·动态任务划分与调度 | 第85-86页 |
| ·带有反馈控制器的调度优化 | 第86-87页 |
| ·实验分析与结果 | 第87-92页 |
| ·系统性能表现 | 第87-89页 |
| ·性能一致性分析 | 第89-91页 |
| ·任务调度开销分析 | 第91-92页 |
| ·本章小结 | 第92-94页 |
| 第六章 基于数据局部化的Reduce任务调度 | 第94-104页 |
| ·引言 | 第94-95页 |
| ·实验观察与动机 | 第95-98页 |
| ·Shuffle与网络传输 | 第95-96页 |
| ·数据传输影响分析实验 | 第96-98页 |
| ·Jinking系统设计 | 第98-99页 |
| ·优化Shuffle顺序 | 第98-99页 |
| ·次优调度与延迟调度 | 第99页 |
| ·性能试验 | 第99-102页 |
| ·不同负载下的性能对比 | 第100页 |
| ·不同数据分布下的性能比较 | 第100-101页 |
| ·网络流量统计 | 第101-102页 |
| ·小结 | 第102-104页 |
| 第七章 结束语 | 第104-108页 |
| ·论文工作的总结 | 第104-106页 |
| ·课题研究展望 | 第106-108页 |
| 致谢 | 第108-110页 |
| 参考文献 | 第110-122页 |
| 作者在学期间取得的学术成果 | 第122-123页 |
