基于BSP的大规模图处理系统中的任务调度与同步控制
摘要 | 第1-6页 |
Abstract | 第6-9页 |
第1章 绪论 | 第9-13页 |
·大规模图处理的研究背景和意义 | 第9页 |
·大规模图处理的国内外研究现状 | 第9-11页 |
·本文主要解决的问题及组织结构 | 第11-12页 |
·本文贡献 | 第12-13页 |
第2章 相关技术 | 第13-29页 |
·BSP模型 | 第13-16页 |
·BSP模型概述 | 第13-14页 |
·BSP工作原理 | 第14-15页 |
·BSP模型的优点 | 第15-16页 |
·Pregel系统 | 第16-18页 |
·Pregel计算模式 | 第16-17页 |
·Pregel遍历模式 | 第17-18页 |
·Pregel不足 | 第18页 |
·MapReduce框架 | 第18-21页 |
·MapReduce的执行流程 | 第18-20页 |
·MapReduce与BSP的比较 | 第20-21页 |
·分布式文件系统HDFS | 第21-23页 |
·名字节点与数据节点 | 第22页 |
·数据复制 | 第22页 |
·数据组织 | 第22-23页 |
·ZooKeeper技术 | 第23-24页 |
·Hama项目 | 第24-29页 |
·Hama项目简介 | 第24页 |
·Hama架构 | 第24-26页 |
·Hama缺点 | 第26-29页 |
第3章 任务调度与同步控制模块的设计 | 第29-45页 |
·系统总体设计 | 第29-34页 |
·系统总体设计架构 | 第29-30页 |
·系统运行流程 | 第30-32页 |
·数据本地化和负载均衡 | 第32-34页 |
·任务调度模块设计 | 第34-37页 |
·任务调度需求分析 | 第34-35页 |
·任务调度概要设计 | 第35-37页 |
·同步控制模块设计 | 第37-45页 |
·同步控制需求分析 | 第37-38页 |
·同步控制概要设计 | 第38-45页 |
第4章 任务调度与同步控制模块的实现 | 第45-61页 |
·任务调度模块实现 | 第45-54页 |
·分区数目校正与集群资源检查 | 第46-47页 |
·作业初始化 | 第47-48页 |
·作业调度排序 | 第48页 |
·一致性任务分配 | 第48-50页 |
·并行数据载入 | 第50-51页 |
·任务调度实现 | 第51-54页 |
·同步控制模块实现 | 第54-61页 |
·三次路障同步 | 第56-57页 |
·本地同步优化设计 | 第57-58页 |
·同步控制实现 | 第58-61页 |
第5章 系统部署与性能测试 | 第61-65页 |
·系统部署环境要求 | 第61页 |
·系统配置与启动 | 第61-62页 |
·实验结果分析 | 第62-65页 |
第6章 总结与展望 | 第65-67页 |
参考文献 | 第67-71页 |
致谢 | 第71-73页 |
攻硕期间发表论文及参加项目 | 第73页 |