摘要 | 第6-8页 |
Abstract | 第8-9页 |
第一章 绪论 | 第15-21页 |
1.1 研究背景和意义 | 第15-16页 |
1.2 国内外研究现状 | 第16-17页 |
1.3 本文的研究内容和主要工作 | 第17-21页 |
第二章 相关背景知识 | 第21-33页 |
2.1 单机矩阵运算库 | 第21-22页 |
2.2 基于传统分布式平台的矩阵运算 | 第22-25页 |
2.3 Spark大数据处理平台简介 | 第25-31页 |
2.3.1 Spark概述 | 第26页 |
2.3.2 弹性分布式数据集RDD | 第26-29页 |
2.3.3 Spark程序执行框架 | 第29-30页 |
2.3.4 Spark的shuffle机制与依赖关系 | 第30-31页 |
2.4 矩阵运算与机器学习算法 | 第31页 |
2.5 本章小结 | 第31-33页 |
第三章 稠密矩阵运算方法与算法研究实现 | 第33-51页 |
3.1 基于Hadoop MapReduce的分布式矩阵乘法策略 | 第33-35页 |
3.2 基于Spark的分布式矩阵乘法策略分析 | 第35-39页 |
3.3 基于Spark的分布式矩阵乘法的实现与优化 | 第39-42页 |
3.3.1 MapMM策略中高效利用本地原生库 | 第40页 |
3.3.2 高效的分布式行矩阵与块矩阵的转换 | 第40-41页 |
3.3.3 减少矩阵乘法策略中join阶段的shuffle数据读写 | 第41-42页 |
3.4 基于Spark的分布式矩阵间逐元素运算实现与优化 | 第42-44页 |
3.5 实验设计与结果分析 | 第44-50页 |
3.5.1 分布式矩阵切分方式与乘法策略性能分析 | 第44-46页 |
3.5.2 分布式矩阵乘法策略的性能对比 | 第46-47页 |
3.5.3 分布式矩阵乘法优化的性能对比 | 第47-49页 |
3.5.4 分布式矩阵间逐运算的性能对比 | 第49-50页 |
3.6 本章小结 | 第50-51页 |
第四章 稀疏矩阵运算方法与算法研究实现 | 第51-63页 |
4.1 高度稀疏分布式矩阵乘法 | 第51-53页 |
4.2 中度稀疏分布式矩阵乘法的实现与优化 | 第53-58页 |
4.3 实验设计与结果分析 | 第58-62页 |
4.3.1 分布式稀疏-稀疏矩阵乘法运算实验设计与结果分析 | 第58-60页 |
4.3.2 分布式稠密-稀疏矩阵乘法运算实验设计与结果分析 | 第60-62页 |
4.4 本章小结 | 第62-63页 |
第五章 大规模分布式矩阵运算库的设计与实现 | 第63-79页 |
5.1 大规模分布式矩阵运算库Marlin的设计 | 第63-66页 |
5.2 矩阵库性能对比实验 | 第66-77页 |
5.2.1 对比系统介绍 | 第66-67页 |
5.2.2 基本分布式乘法运算的性能对比 | 第67-75页 |
5.2.3 机器学习算法实例性能对比 | 第75-77页 |
5.3 本章小结 | 第77-79页 |
第六章 总结与展望 | 第79-81页 |
6.1 工作总结 | 第79-80页 |
6.2 未来工作 | 第80-81页 |
参考文献 | 第81-85页 |
致谢 | 第85-87页 |
附录 | 第87-89页 |