| 摘要 | 第4-5页 |
| Abstract | 第5-6页 |
| 第1章 绪论 | 第9-15页 |
| 1.1 课题背景与研究意义 | 第9-10页 |
| 1.1.1 课题来源 | 第9页 |
| 1.1.2 课题目的与意义 | 第9-10页 |
| 1.2 国内外研究现状 | 第10-12页 |
| 1.2.1 大数据处理框架性能预测研究现状 | 第10-11页 |
| 1.2.2 大数据处理框架性能优化研究现状 | 第11-12页 |
| 1.3 本文结构 | 第12-15页 |
| 第2章 Spark性能影响因素特征提取 | 第15-27页 |
| 2.1 静态特征提取 | 第15-19页 |
| 2.1.1 数据序列化特征提取 | 第16页 |
| 2.1.2 Shuffle过程特征提取 | 第16-17页 |
| 2.1.3 数据压缩特征提取 | 第17-18页 |
| 2.1.4 并行度特征提取 | 第18页 |
| 2.1.5 资源调度特征提取 | 第18-19页 |
| 2.2 动态特征提取 | 第19-22页 |
| 2.2.1 Spark运行机制 | 第20-21页 |
| 2.2.2 负载DAG图特征 | 第21-22页 |
| 2.3 基于DAG图编辑距离的Spark负载相似度计算 | 第22-26页 |
| 2.4 本章小结 | 第26-27页 |
| 第3章 基于SRFRP模型的Spark性能预测算法 | 第27-35页 |
| 3.1 随机森林原理 | 第27-29页 |
| 3.1.1 随机森林回归基本原理 | 第28-29页 |
| 3.1.2 随机森林算法优点 | 第29页 |
| 3.2 SRFRP模型建立 | 第29-33页 |
| 3.2.1 SRFRP模型建立流程 | 第29-31页 |
| 3.2.2 SRFRP模型随机森林参数选择 | 第31-33页 |
| 3.3 基于SRFRP模型的Spark性能预测算法 | 第33-34页 |
| 3.4 本章小结 | 第34-35页 |
| 第4章 Spark性能预测与优化系统 | 第35-48页 |
| 4.1 系统总体架构设计 | 第35-36页 |
| 4.2 SRFRP-Bench模块设计与实现 | 第36-42页 |
| 4.2.1 Spark基准测试层 | 第38-41页 |
| 4.2.2 测试结果采集层和测试结果解析层 | 第41-42页 |
| 4.3 Spark性能优化模块设计与实现 | 第42-45页 |
| 4.4 SLO-Driven计算资源推荐模块设计与实现 | 第45-46页 |
| 4.5 本章小结 | 第46-48页 |
| 第5章 实验与结果分析 | 第48-67页 |
| 5.1 实验环境 | 第48-49页 |
| 5.2 Spark性能预测算法实验 | 第49-58页 |
| 5.2.1 SRFRP模型预测准确度评价指标选取 | 第49-50页 |
| 5.2.2 回归模型准确性对比实验 | 第50-51页 |
| 5.2.3 已训练负载类型性能预测精准度实验 | 第51-55页 |
| 5.2.4 未训练负载类型性能预测精准度实验 | 第55-58页 |
| 5.3 Spark性能优化实验 | 第58-65页 |
| 5.3.1 Word Count性能优化实验 | 第58-61页 |
| 5.3.2 Page Rank性能优化实验 | 第61-63页 |
| 5.3.3 Random Forest Regression性能优化实验 | 第63-65页 |
| 5.4 本章小结 | 第65-67页 |
| 结论 | 第67-69页 |
| 主要参考文献 | 第69-73页 |
| 攻读硕士学位期间发表的论文及其它成果 | 第73-75页 |
| 致谢 | 第75-76页 |
