| 摘要 | 第5-6页 |
| Abstract | 第6页 |
| 第一章 绪论 | 第9-14页 |
| 1.1 研究背景 | 第9页 |
| 1.2 研究与发展现状 | 第9-12页 |
| 1.3 课题意义 | 第12页 |
| 1.4 论文研究的重点内容 | 第12页 |
| 1.5 论文组织结构 | 第12-14页 |
| 第二章 相关理论与技术介绍 | 第14-20页 |
| 2.1 HDFS | 第14-15页 |
| 2.2 Spark | 第15-18页 |
| 2.3 Spark Streaming | 第18-19页 |
| 2.4 本章小结 | 第19-20页 |
| 第三章 需求分析 | 第20-24页 |
| 3.1 系统概述 | 第20页 |
| 3.2 功能性需求 | 第20-23页 |
| 3.2.1 日志数据清洗过滤 | 第21页 |
| 3.2.2 Session数据分析 | 第21-22页 |
| 3.2.3 广告点击行为分析 | 第22-23页 |
| 3.3 非功能性需求 | 第23页 |
| 3.4 本章小结 | 第23-24页 |
| 第四章 数据预处理和数据高效传输 | 第24-37页 |
| 4.1 数据预处理 | 第24-35页 |
| 4.1.1 Spark作业执行的流程与存在的不足 | 第24-30页 |
| 4.1.2 数据预处理算法 | 第30-31页 |
| 4.1.3 非聚合型数据预处理算法 | 第31-35页 |
| 4.2 数据的高效传输 | 第35-36页 |
| 4.2.1 数据传输 | 第35-36页 |
| 4.3 本章小结 | 第36-37页 |
| 第五章 系统设计与实现 | 第37-73页 |
| 5.1 系统架构 | 第37-39页 |
| 5.2 日志数据结构和数据表的设计 | 第39-41页 |
| 5.2.1 口志数据结构定义 | 第39页 |
| 5.2.2 数据表结构设计 | 第39-41页 |
| 5.3 日志数据的清洗和过滤 | 第41-42页 |
| 5.4 Session分析的实现 | 第42-62页 |
| 5.4.1 Session中访问步长占比和访问时长占比统计 | 第42-51页 |
| 5.4.2 获取前10个最流行商品品类 | 第51-62页 |
| 5.5 广告点击行为分析的实现 | 第62-71页 |
| 5.5.1 广告点击趋势图统计 | 第62-71页 |
| 5.6 本章小结 | 第71-73页 |
| 第六章 系统测试 | 第73-79页 |
| 6.1 系统环境部署 | 第73-74页 |
| 6.1.1 硬件环境配置和分布式环境搭建 | 第73-74页 |
| 6.2 系统测试 | 第74-78页 |
| 6.2.1 口志数据处理性能测试 | 第75-77页 |
| 6.2.2 数据传输性能测试 | 第77-78页 |
| 6.3 本章小结 | 第78-79页 |
| 第七章 总结与展望 | 第79-81页 |
| 致谢 | 第81-82页 |
| 参考文献 | 第82-83页 |