摘要 | 第5-6页 |
Abstract | 第6-7页 |
第1章 绪论 | 第13-18页 |
1.1 研究背景与意义 | 第13-14页 |
1.2 国内外研究现状 | 第14-16页 |
1.3 研究的内容 | 第16-17页 |
1.4 论文的组织结构 | 第17-18页 |
第2章 相关研究 | 第18-37页 |
2.1 Hadoop平台概述 | 第18-26页 |
2.1.1 第一代Hadoop框架 | 第19-20页 |
2.1.2 第二代Hadoop框架 | 第20-22页 |
2.1.3 MapReduce编程架构 | 第22-24页 |
2.1.4 HDFS文件系统 | 第24-25页 |
2.1.5 Hadoop生态系统 | 第25-26页 |
2.2 推测执行原理 | 第26-31页 |
2.2.1 推测执行计算模型 | 第26-27页 |
2.2.2 异构环境的考虑 | 第27页 |
2.2.3 经典推测执行算法 | 第27-31页 |
2.3 相关机器学习算法 | 第31-36页 |
2.3.1 决策树算法 | 第31-33页 |
2.3.2 集成学习Bagging | 第33页 |
2.3.3 随机森林算法 | 第33-36页 |
2.4 本章小结 | 第36-37页 |
第3章 基于集群收益的推测执行算法 | 第37-47页 |
3.1 YARN default和LATE算法的问题 | 第37-38页 |
3.1.1 没有考虑数据本地化 | 第37页 |
3.1.2 没有考虑资源的影响 | 第37-38页 |
3.1.3 没有考虑节点的处理能力 | 第38页 |
3.2 SEBC算法的改进策略 | 第38-40页 |
3.2.1 任务分类 | 第39页 |
3.2.2 资源价值体现 | 第39页 |
3.2.3 改进的约束条件 | 第39-40页 |
3.2.4 选择合适的节点 | 第40页 |
3.3 算法及其执行流程 | 第40-43页 |
3.3.1 主要编程接口 | 第40-41页 |
3.3.2 算法实现及分析 | 第41-43页 |
3.3.3 执行流程 | 第43页 |
3.4 实验结果与分析 | 第43-46页 |
3.4.1 实验环境 | 第43-44页 |
3.4.2 实验结果分析 | 第44-46页 |
3.5 本章小结 | 第46-47页 |
第4章 基于随机森林的推测执算法 | 第47-57页 |
4.1 SAMR算法问题 | 第47-48页 |
4.1.1 预测的不可靠性 | 第47页 |
4.1.2 忽略慢任务 | 第47-48页 |
4.1.3 误判快节点 | 第48页 |
4.1.4 约束条件不全面 | 第48页 |
4.2 SERF算法的改进策略 | 第48-51页 |
4.2.1 基于随机森林的预测 | 第48-49页 |
4.2.2 基于属性信息值的执行模型 | 第49-50页 |
4.2.3 基于数据本地化任务地判断 | 第50页 |
4.2.4 基于类型匹配的备份节点 | 第50-51页 |
4.2.5 基于集群收益的约束条件 | 第51页 |
4.3 算法及其执行流程 | 第51-54页 |
4.3.1 主要编程接口 | 第51页 |
4.3.2 算法实现及分析 | 第51-53页 |
4.3.3 执行流程 | 第53-54页 |
4.4 实验结果与分析 | 第54-56页 |
4.4.1 实验环境 | 第54-55页 |
4.4.2 实验结果分析 | 第55-56页 |
4.5 本章小结 | 第56-57页 |
结论 | 第57-59页 |
参考文献 | 第59-63页 |
致谢 | 第63页 |