| 摘要 | 第4-5页 |
| ABSTRACT | 第5页 |
| 第一章 绪论 | 第8-10页 |
| 1.1 研究背景 | 第8-9页 |
| 1.2 论文结构 | 第9-10页 |
| 第二章 高速网络流量环境下的数据处理 | 第10-14页 |
| 2.1 高速网络环境的特点 | 第10页 |
| 2.2 高速网络流量环境下数据处理所面临的挑战 | 第10-11页 |
| 2.3 Hadoop的大数据解决方案 | 第11-14页 |
| 2.3.1 Hadoop的历史 | 第11-12页 |
| 2.3.2 Hadoop的体系结构 | 第12页 |
| 2.3.3 分布式文件系统HDFS的设计目的 | 第12-13页 |
| 2.3.4 并行计算编程模型MapReduce的设计目的 | 第13-14页 |
| 第三章 高速流量网络环境下的Hadoop性能影响因素分析 | 第14-24页 |
| 3.1 HDFS的实现机制 | 第14-15页 |
| 3.2 MapReduce的实现机制 | 第15-17页 |
| 3.3 高速网络流量环境中的典型Hadoop作业的性能分析 | 第17-24页 |
| 3.3.1 高速网络流量环境中的典型Hadoop作业特点 | 第17-18页 |
| 3.3.2 HDFS的性能影响因素分析 | 第18-21页 |
| 3.3.3 MapReduce的性能影响因素分析 | 第21-24页 |
| 第四章 基于Petri-Net的Hadoop性能仿真系统的设计与实现 | 第24-53页 |
| 4.1 拟解决的关键问题及挑战 | 第24-25页 |
| 4.2 相关工作及研究意义 | 第25-26页 |
| 4.3 Petri-Net简介 | 第26-27页 |
| 4.4 仿真系统核心参数选择 | 第27-30页 |
| 4.4.1 硬件特征参数 | 第27-29页 |
| 4.4.2 集群配置参数 | 第29页 |
| 4.4.3 程序参数 | 第29-30页 |
| 4.5 仿真系统核心参数的获取 | 第30-37页 |
| 4.5.1 Hadoop测试环境的搭建 | 第30-31页 |
| 4.5.2 Hadoop日志收集分析模块 | 第31-33页 |
| 4.5.3 仿真核心参数的计算 | 第33-37页 |
| 4.6 关键子模块说明 | 第37-44页 |
| 4.6.1 整体架构 | 第37-38页 |
| 4.6.2 任务调度器 | 第38-40页 |
| 4.6.3 Map阶段建模 | 第40-43页 |
| 4.6.4 Reduce阶段建模 | 第43-44页 |
| 4.7 预测结果分析 | 第44-53页 |
| 4.7.1 WordCount仿真结果比较 | 第44-50页 |
| 4.7.2 HttpMatch各阶段仿真结果比较 | 第50-53页 |
| 第五章 Spark分布式大数据处理模式的分析研究 | 第53-62页 |
| 5.1 Spark概述 | 第53-55页 |
| 5.1.1 Spark的设计初衷 | 第53页 |
| 5.1.2 Spark的发展历史 | 第53-54页 |
| 5.1.3 Spark生态圈的体系结构 | 第54-55页 |
| 5.2 Spark的技术实现 | 第55-58页 |
| 5.2.1 Spark的核心思想 | 第55-56页 |
| 5.2.2 Spark的节点架构 | 第56-57页 |
| 5.2.3 Spark的任务调度 | 第57-58页 |
| 5.3 高速网络流量环境中Spark的性能表现 | 第58-62页 |
| 第六章 总结与展望 | 第62-63页 |
| 参考文献 | 第63-66页 |
| 致谢 | 第66页 |
