摘要 | 第4-5页 |
abstract | 第5-6页 |
第1章 绪论 | 第11-23页 |
1.1 研究背景与意义 | 第11-12页 |
1.2 国内外研究现状 | 第12-15页 |
1.3 核心技术介绍 | 第15-20页 |
1.3.1 MapReduce模型 | 第15-17页 |
1.3.2 BSP模型 | 第17-19页 |
1.3.3 HDFS分布式文件系统 | 第19页 |
1.3.4 Ant项目管理工具 | 第19-20页 |
1.4 研究内容 | 第20-21页 |
1.5 论文结构 | 第21-23页 |
第2章 大规模动态图处理平台的需求分析 | 第23-29页 |
2.1 基本定义与问题描述 | 第23-24页 |
2.2 平台的需求分析 | 第24-28页 |
2.2.1 平台总体需求分析 | 第24页 |
2.2.2 平台功能需求分析 | 第24-26页 |
2.2.3 平台性能需求分析 | 第26-28页 |
2.3 小结 | 第28-29页 |
第3章 大规模动态图处理平台的总体设计 | 第29-34页 |
3.1 平台框架的设计原则 | 第29页 |
3.2 平台框架任务总体执行流程 | 第29-31页 |
3.3 平台框架总体架构设计 | 第31-33页 |
3.3.1 平台总体架构图 | 第31-32页 |
3.3.2 平台各模块功能设计 | 第32-33页 |
3.4 小结 | 第33-34页 |
第4章 大规模动态图处理平台的详细设计 | 第34-47页 |
4.1 JobTracker全局控制功能的设计 | 第34-37页 |
4.1.1 JobTracker初始化流程 | 第34-35页 |
4.1.2 RPC通信机制和心跳机制 | 第35-36页 |
4.1.3 作业完成后本地临时文件的清理 | 第36-37页 |
4.2 实时监控功能设计 | 第37-38页 |
4.2.1 监听进程的初始化 | 第37页 |
4.2.2 监听进程的工作流程 | 第37-38页 |
4.3 Map阶段功能设计 | 第38-42页 |
4.3.1 MapTask的初始化 | 第38-39页 |
4.3.2 MapTask的工作流程 | 第39-40页 |
4.3.3 数据分片拷贝流程 | 第40-42页 |
4.4 Reduce阶段功能设计 | 第42-45页 |
4.4.1 ReduceTask的初始化 | 第42页 |
4.4.2 ReduceTask的工作流程 | 第42-43页 |
4.4.3 缓冲区文件写出流程 | 第43-45页 |
4.5 小结 | 第45-47页 |
第5章 大规模动态图处理平台的实现与测试 | 第47-61页 |
5.1 平台开发及运行环境 | 第47-48页 |
5.1.1 硬件环境 | 第47页 |
5.1.2 软件环境 | 第47-48页 |
5.2 平台的实现 | 第48-55页 |
5.3 平台运行测试 | 第55-59页 |
5.3.1 大规模动态图文件 | 第55-56页 |
5.3.2 单源最短路径算法 | 第56-58页 |
5.3.3 新平台框架与原Hadoop框架算法实现比较 | 第58-59页 |
5.4 小结 | 第59-61页 |
第6章 总结与展望 | 第61-63页 |
6.1 本文研究成果总结 | 第61-62页 |
6.2 工作中不足及展望 | 第62-63页 |
致谢 | 第63-64页 |
参考文献 | 第64-67页 |