摘要 | 第5-6页 |
ABSTRACT | 第6-7页 |
第1章 引言 | 第11-15页 |
1.1 课题的研究背景 | 第11-12页 |
1.1.1 云计算的发展 | 第11页 |
1.1.2 大数据概念的提出 | 第11-12页 |
1.1.3 大规模图的计算需求 | 第12页 |
1.2 课题的研究意义 | 第12-13页 |
1.2.1 大图计算的特点与挑战 | 第12-13页 |
1.2.2 大图计算的研究现状 | 第13页 |
1.3 本文的工作贡献与组织结构 | 第13-15页 |
第2章 大图计算的相关工作 | 第15-25页 |
2.1 处理大规模数据的计算模型 | 第15-19页 |
2.1.1 MapReduce计算模型 | 第15-18页 |
2.1.2 BSP计算模型 | 第18-19页 |
2.2 数据划分与通信优化 | 第19-20页 |
2.3 基于磁盘的迭代处理 | 第20-21页 |
2.4 大图处理系统介绍 | 第21-24页 |
2.4.1 Pregel系统 | 第21-22页 |
2.4.2 Hama系统 | 第22页 |
2.4.3 Giraph系统 | 第22-23页 |
2.4.4 GraphChi系统 | 第23-24页 |
2.5 本章小结 | 第24-25页 |
第3章 基于消息队列的通信机制 | 第25-33页 |
3.1 基于BSP的大图处理系统的通信需求 | 第25-26页 |
3.2 基于消息队列的通信结构 | 第26-30页 |
3.2.1 消息数据的组织 | 第26-27页 |
3.2.2 网络通信控制 | 第27-29页 |
3.2.3 通信路由 | 第29-30页 |
3.3 通信代价分析 | 第30-31页 |
3.4 实验分析 | 第31-32页 |
3.4.1 实验环境与数据集 | 第31页 |
3.4.2 实验结果分析 | 第31-32页 |
3.5 本章小结 | 第32-33页 |
第4章 基于边界点备份的通信优化 | 第33-49页 |
4.1 问题分析与定义 | 第33-34页 |
4.1.1 边界点备份的提出与可行性分析 | 第33-34页 |
4.1.2 问题定义 | 第34页 |
4.2 图数据的边界点备份机制 | 第34-38页 |
4.3 计算模型与代价估计 | 第38-40页 |
4.3.1 点边计算模型 | 第38-39页 |
4.3.2 代价估计 | 第39-40页 |
4.4 三种实现技术的比较 | 第40-44页 |
4.4.1 串行扫描 | 第41页 |
4.4.2 并行实现及索引 | 第41-44页 |
4.5 实验与分析 | 第44-47页 |
4.5.1 实验环境与数据集 | 第44页 |
4.5.2 实验结果分析 | 第44-47页 |
4.6 本章小结 | 第47-49页 |
第5章 基于磁盘的高效迭代处理 | 第49-75页 |
5.1 朴素的磁盘迭代算法及分析 | 第49-50页 |
5.2 数据内存分配模型 | 第50-53页 |
5.3 数据分组迭代算法DGI | 第53-62页 |
5.3.1 DGI基本思想 | 第53页 |
5.3.2 DGI-ASSR图遍历算法 | 第53-56页 |
5.3.3 数据分组算法 | 第56-61页 |
5.3.4 数据分组迭代中的消息查找 | 第61-62页 |
5.4 基于消息有序的磁盘迭代 | 第62-67页 |
5.4.1 消息有序迭代MSI | 第63页 |
5.4.2 OERSV数据模型 | 第63-66页 |
5.4.3 两阶段计算过程 | 第66-67页 |
5.5 参数确定与性能分析 | 第67-69页 |
5.5.1 图数据占用比例λ最优值的分析确定 | 第67-68页 |
5.5.2 当前处理消息内存占用比例β最优值的分析确定 | 第68-69页 |
5.6 实验与分析 | 第69-73页 |
5.6.1 实验环境与数据集 | 第69页 |
5.6.2 实验结果分析 | 第69-73页 |
5.7 本章小结 | 第73-75页 |
第6章 基于BC-BSP系统的集成 | 第75-83页 |
6.1 BC-BSP系统的体系结构 | 第75-78页 |
6.1.1 体系结构概况 | 第75-76页 |
6.1.2 作业提交与执行 | 第76-78页 |
6.2 通信优化与磁盘处理的集成 | 第78-79页 |
6.2.1 基于边界点备份的通信优化的集成 | 第78-79页 |
6.2.2 磁盘高效迭代处理的集成 | 第79页 |
6.3 实验分析 | 第79-80页 |
6.3.1 实验环境与数据集 | 第79-80页 |
6.3.2 实验结果分析 | 第80页 |
6.4 本章小结 | 第80-83页 |
第7章 总结与展望 | 第83-85页 |
7.1 本文工作总结 | 第83-84页 |
7.2 进一步研究的工作 | 第84-85页 |
参考文献 | 第85-87页 |
致谢 | 第87-89页 |
硕士期间发表的论文及参加的项目 | 第89页 |