基于Spark平台的网络数据分析系统的设计与实现
| 摘要 | 第4-5页 |
| ABSTRACT | 第5-6页 |
| 第一章 绪论 | 第9-14页 |
| 1.1 研究背景 | 第9-10页 |
| 1.2 国内外现状 | 第10-11页 |
| 1.3 解决的主要问题 | 第11页 |
| 1.4 本文的主要工作 | 第11-12页 |
| 1.5 论文的组织结构 | 第12-14页 |
| 第二章 技术综述 | 第14-22页 |
| 2.1 平台相关技术 | 第14-19页 |
| 2.1.1 Spark计算引擎 | 第14-16页 |
| 2.1.2 Spark on Yarn | 第16-17页 |
| 2.1.3 分布式存储系统HDFS/HBase | 第17-18页 |
| 2.1.4 轻量级框架SpringMVC | 第18-19页 |
| 2.2 数据分析处理相关技术 | 第19页 |
| 2.3 性能调优 | 第19-21页 |
| 2.4 本章小结 | 第21-22页 |
| 第三章 网络数据分析服务平台的设计 | 第22-34页 |
| 3.1 平台简介 | 第22-23页 |
| 3.2 系统需求分析 | 第23-26页 |
| 3.2.1 使用系统的相关人员 | 第23-24页 |
| 3.2.2 系统的特点分析 | 第24页 |
| 3.2.3 功能性需求 | 第24-25页 |
| 3.2.4 非功能性需求 | 第25-26页 |
| 3.3 系统设计以及功能模块定义 | 第26-29页 |
| 3.3.1 系统架构设计 | 第26-28页 |
| 3.3.2 系统流程设计 | 第28-29页 |
| 3.4 模块详细设计 | 第29-33页 |
| 3.5 本章小结 | 第33-34页 |
| 第四章 网络数据分析服务平台的实现 | 第34-56页 |
| 4.1 网络数据分析服务平台的实现 | 第34-54页 |
| 4.1.1 数据处理工具 | 第34-41页 |
| 4.1.2 监控工具 | 第41-44页 |
| 4.1.3 可视化工具 | 第44-49页 |
| 4.1.4 逻辑功能控制工具 | 第49-54页 |
| 4.2 本章小结 | 第54-56页 |
| 第五章 系统的验证与测试 | 第56-61页 |
| 5.1 大数据平台环境的搭建 | 第56页 |
| 5.2 平台可行性的验证 | 第56-60页 |
| 5.2.1 热门网站分析功能的验证与测试 | 第57-58页 |
| 5.2.2 平台访问量对比分析功能的验证与测试 | 第58-60页 |
| 5.3 本章小结 | 第60-61页 |
| 第六章 总结与展望 | 第61-63页 |
| 6.1 总结 | 第61-62页 |
| 6.2 展望 | 第62-63页 |
| 参考文献 | 第63-65页 |
| 致谢 | 第65页 |
