| 摘要 | 第2-3页 |
| Abstract | 第3页 |
| 1 绪论 | 第6-10页 |
| 1.1 项目背景与意义 | 第6-7页 |
| 1.2 国内外发展现状 | 第7-8页 |
| 1.3 本文主要研究的工作 | 第8-9页 |
| 1.4 本文的组织结构 | 第9-10页 |
| 2 相关技术简述 | 第10-19页 |
| 2.1 大数据存储和计算技术简述 | 第10-11页 |
| 2.2 本系统相关技术简述 | 第11-18页 |
| 2.2.1 日志收集、分发相关技术简述 | 第11-12页 |
| 2.2.2 离线数据分析相关技术简述 | 第12-16页 |
| 2.2.3 实时数据分析相关技术简述 | 第16-18页 |
| 2.3 本章小结 | 第18-19页 |
| 3 系统需求分析 | 第19-23页 |
| 3.1 需求概述 | 第19-20页 |
| 3.2 分析指标详解 | 第20页 |
| 3.3 功能需求分析 | 第20-22页 |
| 3.3.1 功能性需求分析 | 第20-21页 |
| 3.3.2 各需求功能分析概述 | 第21-22页 |
| 3.4 本章小结 | 第22-23页 |
| 4 系统设计 | 第23-35页 |
| 4.1 系统总体设计 | 第23-25页 |
| 4.1.1 系统架构设计 | 第23-24页 |
| 4.1.2 系统技术路线设计 | 第24-25页 |
| 4.2 详细设计 | 第25-34页 |
| 4.2.1 日志收集模块设计 | 第25-27页 |
| 4.2.2 离线日志分析系统模块设计 | 第27-28页 |
| 4.2.3 实时日志分析系统模块设计 | 第28-31页 |
| 4.2.4 分析结果落地模块设计 | 第31-33页 |
| 4.2.5 分析结果的展示模块设计 | 第33-34页 |
| 4.3 本章小结 | 第34-35页 |
| 5 系统实现 | 第35-55页 |
| 5.1 日志来源、日志收集实现 | 第35-38页 |
| 5.1.1 日志来源实现 | 第35-36页 |
| 5.1.2 日志格式分析 | 第36-37页 |
| 5.1.3 日志收集的实现 | 第37-38页 |
| 5.2 离线日志分析后端实现 | 第38-42页 |
| 5.2.1 系统后端数据处理流程 | 第38页 |
| 5.2.2 Hive离线计算代码实现 | 第38-41页 |
| 5.2.3 离线分析表设计 | 第41-42页 |
| 5.2.4 离线分析数据落地 | 第42页 |
| 5.3 实时日志分析后端实现 | 第42-52页 |
| 5.3.1 Storm的可靠情保证-ACKER机制 | 第43页 |
| 5.3.2 Toplogy提交任务实现 | 第43-46页 |
| 5.3.3 实时日志分析各个Bolt节点实现 | 第46-47页 |
| 5.3.5 Storm短时间的离线分析代码实现 | 第47-51页 |
| 5.3.6 分析结果落地实现 | 第51-52页 |
| 5.4 系统前端实现 | 第52-54页 |
| 5.5 本章小结 | 第54-55页 |
| 6 系统测试及结果展示 | 第55-62页 |
| 6.1 系统性能测试 | 第55-56页 |
| 6.1.1 系统功能测试 | 第55-56页 |
| 6.1.2 系统性能测试 | 第56页 |
| 6.2 最终分析结果展示 | 第56-61页 |
| 6.3 本章小结 | 第61-62页 |
| 结论 | 第62-63页 |
| 参考文献 | 第63-65页 |
| 附录A Storm实时分析类图集合 | 第65-66页 |
| 附录B Hbase的Dao及Storm实时分析Toplogy关键代码 | 第66-69页 |
| 致谢 | 第69-71页 |