基于MapReduce的大数据增量处理研究
| 摘要 | 第5-6页 |
| Abstract | 第6-7页 |
| 第1章 绪论 | 第11-17页 |
| 1.1 课题的研究背景 | 第11-12页 |
| 1.2 课题的研究意义 | 第12-14页 |
| 1.3 课题的研究内容 | 第14-15页 |
| 1.4 章节分布 | 第15-17页 |
| 第2章 相关工作 | 第17-33页 |
| 2.1 MapReduce | 第17-19页 |
| 2.2 图计算框架 | 第19-23页 |
| 2.2.1 Pregel | 第19-20页 |
| 2.2.2 GraphLab | 第20-22页 |
| 2.2.3 Maiter | 第22-23页 |
| 2.3 大规模迭代计算框架 | 第23-26页 |
| 2.3.1 iMapReduce | 第23-24页 |
| 2.3.2 Haloop | 第24页 |
| 2.3.3 Twiste | 第24-25页 |
| 2.3.4 Spark | 第25-26页 |
| 2.4 增量计算框架 | 第26-31页 |
| 2.4.1 Naiad | 第26-27页 |
| 2.4.2 Percolator | 第27-29页 |
| 2.4.3 Incoop | 第29-30页 |
| 2.4.4 Nova | 第30-31页 |
| 2.5 总结 | 第31-33页 |
| 第3章 增量计算 | 第33-49页 |
| 3.1 incr-MapReduce增量计算 | 第33-37页 |
| 3.1.1 增量数据 | 第35页 |
| 3.1.2 MRBGraph | 第35-37页 |
| 3.2 增量计算引擎 | 第37-40页 |
| 3.2.1 原始计算 | 第37-38页 |
| 3.2.2 增量计算 | 第38-40页 |
| 3.3 MRBStore | 第40-46页 |
| 3.3.1 索引MRBGraph文件 | 第41-42页 |
| 3.3.2 读缓冲 | 第42-45页 |
| 3.3.3 写缓冲 | 第45-46页 |
| 3.4 累积reduce算法 | 第46-47页 |
| 3.5 本章小结 | 第47-49页 |
| 第4章 增量迭代计算 | 第49-69页 |
| 4.1 迭代模型 | 第49-52页 |
| 4.2 结构数据和动态数据的分区 | 第52-56页 |
| 4.2.1 映射关系 | 第52-54页 |
| 4.2.2 数据分区 | 第54-56页 |
| 4.3 迭代计算机制 | 第56-58页 |
| 4.4 增量迭代计算过程 | 第58-62页 |
| 4.4.1 保存MRBGraph文件作业 | 第59-60页 |
| 4.4.2 从收敛状态开始的初次迭代作业 | 第60-61页 |
| 4.4.3 增量迭代作业 | 第61页 |
| 4.4.4 变化传播控制 | 第61-62页 |
| 4.5 MRBStore优化 | 第62-68页 |
| 4.5.1 优化索引 | 第62-63页 |
| 4.5.2 缓冲 | 第63-68页 |
| 4.6 本章小结 | 第68-69页 |
| 第5章 实验与结果分析 | 第69-77页 |
| 5.1 实验配置 | 第69-70页 |
| 5.1.1 实验环境 | 第69页 |
| 5.1.2 应用和数据集 | 第69-70页 |
| 5.2 实验结果集分析 | 第70-75页 |
| 5.2.1 整体性能 | 第70-71页 |
| 5.2.2 迭代时间 | 第71-72页 |
| 5.2.3 各个阶段的时间 | 第72-73页 |
| 5.2.4 增量变化比和时间 | 第73页 |
| 5.2.5 变化传播控制 | 第73-74页 |
| 5.2.6 缓冲对比 | 第74-75页 |
| 5.3 本章小结 | 第75-77页 |
| 第6章 总结与展望 | 第77-79页 |
| 6.1 本文贡献 | 第77-78页 |
| 6.2 未来工作 | 第78-79页 |
| 参考文献 | 第79-83页 |
| 致谢 | 第83-85页 |
| 攻读硕士学位期间的论文和项目情况 | 第85页 |
