集群计算引擎Spark中的内存优化研究与实现
| 摘要 | 第1-4页 |
| Abstract | 第4-8页 |
| 第1章 引言 | 第8-15页 |
| ·并行计算概述 | 第8-10页 |
| ·MapReduce模型 | 第8-9页 |
| ·Dryad模型 | 第9-10页 |
| ·Pregal模型 | 第10页 |
| ·MapReduce现状 | 第10-12页 |
| ·本文贡献 | 第12-13页 |
| ·本章小结 | 第13-15页 |
| 第2章 并行计算框架Spark | 第15-23页 |
| ·Spark简述 | 第15-17页 |
| ·Spark Job编写 | 第16-17页 |
| ·Spark的体系结构 | 第17-22页 |
| ·资源管理框架Mesos | 第17-18页 |
| ·Spark的设计思想 | 第18页 |
| ·Spark的实现 | 第18-19页 |
| ·PageRank实例分析 | 第19-22页 |
| ·本章小结 | 第22-23页 |
| 第3章 Spark的内存使用自动优化方案 | 第23-32页 |
| ·缓存自动化 | 第23-27页 |
| ·背景 | 第23-26页 |
| ·自动化方案 | 第26-27页 |
| ·缓存替换策略优化 | 第27-30页 |
| ·在虚拟集群系统下的行为优化 | 第30-31页 |
| ·本章小结 | 第31-32页 |
| 第4章 Spark优化方案实现 | 第32-51页 |
| ·缓存策略自动化实现 | 第32-34页 |
| ·动态分析 | 第32-33页 |
| ·静态分析 | 第33-34页 |
| ·结果呈现方式 | 第34页 |
| ·缓存替换策略优化实现 | 第34-49页 |
| ·Action顺序优化 | 第35-39页 |
| ·RDD权重计算 | 第39-43页 |
| ·替换策略优化 | 第43-48页 |
| ·多级缓存策略 | 第48-49页 |
| ·本章小结 | 第49-51页 |
| 第5章 实验与评价 | 第51-62页 |
| ·实验方法和目的 | 第51页 |
| ·实验环境 | 第51-52页 |
| ·实验环境安装 | 第52-55页 |
| ·适用范围 | 第52页 |
| ·需要root权限的步骤 | 第52-53页 |
| ·软件安装路径 | 第53页 |
| ·Mesos安装 | 第53-54页 |
| ·Spark安装 | 第54页 |
| ·Hadoop安装 | 第54-55页 |
| ·实验任务 | 第55页 |
| ·实验结果与分析 | 第55-61页 |
| ·实验一Logistic Regression | 第55-57页 |
| ·实验二sortBykey | 第57-58页 |
| ·实验三不同缓存策略比较 | 第58-59页 |
| ·实验四Action顺序效果实验 | 第59-60页 |
| ·实验五多级缓存效果实验 | 第60-61页 |
| ·本章小结 | 第61-62页 |
| 第6章 总结 | 第62-66页 |
| ·本文总结 | 第62-63页 |
| ·下一步工作 | 第63-66页 |
| 参考文献 | 第66-69页 |
| 致谢 | 第69-71页 |
| 个人简历、在学期间发表的学术论文与研究成果 | 第71页 |
