基于BSP模型的分布式图计算系统性能优化研究
摘要 | 第6-8页 |
Abstract | 第8-9页 |
第一章 引言 | 第10-18页 |
1.1 研究背景 | 第10-12页 |
1.2 国内外研究现状 | 第12-15页 |
1.3 本文工作 | 第15-16页 |
1.4 全文结构 | 第16-18页 |
第二章 相关技术介绍 | 第18-28页 |
2.1 Pregel系统 | 第19-23页 |
2.1.1 整体同步模型 | 第19页 |
2.1.2 Pregel计算模型 | 第19-22页 |
2.1.2.1 图划分 | 第20页 |
2.1.2.2 顶点计算 | 第20页 |
2.1.2.3 数据通信 | 第20-21页 |
2.1.2.4 收敛条件判断 | 第21-22页 |
2.1.3 编程接口 | 第22-23页 |
2.2 基于BSP模型的其他分布式图计算系统 | 第23页 |
2.2.1 Hama | 第23页 |
2.2.2 Giraph | 第23页 |
2.3 GraphLab/PowerGraph | 第23-28页 |
2.3.1 图组织结构 | 第24-25页 |
2.3.2 编程接口 | 第25页 |
2.3.3 数据通信 | 第25-26页 |
2.3.4 顶点计算 | 第26页 |
2.3.5 顶点调度 | 第26-28页 |
第三章 分布式图计算系统通信机制优化 | 第28-41页 |
3.1 现有BSP模型通信机制的问题 | 第28-30页 |
3.1.1 消息量巨大 | 第28页 |
3.1.2 消息队列数据竞争激烈 | 第28-29页 |
3.1.3 重复计算和数据通信(对拉模型应用) | 第29-30页 |
3.2 分布式只读共享内存 | 第30-32页 |
3.2.1 图组织结构 | 第30-31页 |
3.2.2 顶点计算 | 第31页 |
3.2.3 数据通信 | 第31-32页 |
3.2.4 收敛条件判断 | 第32页 |
3.3 分布式只读共享内存的实现 | 第32-33页 |
3.4 与PowerGraph的比较 | 第33-35页 |
3.5 对多核架构的支持 | 第35-36页 |
3.6 评测 | 第36-40页 |
3.6.1 实验环境 | 第36页 |
3.6.2 图算法 | 第36-37页 |
3.6.3 消除重复计算和重复消息 | 第37页 |
3.6.4 总体性能提升 | 第37-38页 |
3.6.5 运行时间分解 | 第38-40页 |
3.7 小结 | 第40-41页 |
第四章 分布式图计算系统计算模型优化 | 第41-52页 |
4.1 同步和异步计算模型比较 | 第41-44页 |
4.1.1 同步计算模型 | 第41-42页 |
4.1.2 异步计算模型 | 第42-43页 |
4.1.3 两种计算模型的比较 | 第43-44页 |
4.2 混合计算模型及其优化 | 第44-48页 |
4.2.1 混合计算模型 | 第44-45页 |
4.2.2 冗余激活问题 | 第45-46页 |
4.2.3 细粒度版本追踪技术 | 第46-47页 |
4.2.4 无锁版本追踪技术 | 第47-48页 |
4.3 性能评测 | 第48-51页 |
4.3.1 实验环境 | 第48-49页 |
4.3.2 总体性能提升 | 第49页 |
4.3.3 可扩展性 | 第49-50页 |
4.3.4 版本追踪消除冗余激活的效果 | 第50-51页 |
4.4 小结 | 第51-52页 |
第五章 总结与分析 | 第52-54页 |
5.1 创新与贡献 | 第52页 |
5.2 进一步的研究设想 | 第52-54页 |
5.2.1 结合“边切分”和“顶点切分” | 第53页 |
5.2.2 适应性的计算模型选择 | 第53-54页 |
参考文献 | 第54-58页 |
致谢 | 第58-59页 |