| 目录 | 第2-4页 |
| 摘要 | 第4-5页 |
| Abstract | 第5页 |
| 第一章 绪论 | 第6-12页 |
| 1.1 论文选题背景 | 第6-9页 |
| 1.2 本文的主要内容 | 第9-10页 |
| 1.3 本文的章节安排 | 第10-12页 |
| 第二章 系统现状和相关技术分析 | 第12-20页 |
| 2.1 企业现有的数据分析平台架构和问题 | 第12-14页 |
| 2.2 主流的数据平台架构和技术分析比较 | 第14-20页 |
| 第三章 视频日志分析平台的需求分析和新架构设计 | 第20-29页 |
| 3.1 视频日志分析平台的需求分析 | 第20-24页 |
| 3.1.1 数据分析业务人员的需求 | 第20-21页 |
| 3.1.2 数据平台维护人员的需求 | 第21-23页 |
| 3.1.3 数据平台开发人员的需求 | 第23页 |
| 3.1.4 日志分析平台的架构需求 | 第23-24页 |
| 3.2 数据分析系统新架构设计 | 第24-29页 |
| 3.2.1 各个模块功能描述 | 第26-27页 |
| 3.2.2 日志分析系统解决的核心问题 | 第27-29页 |
| 第四章 系统详细设计和各模块设计 | 第29-54页 |
| 4.1 存储模块设计 | 第29-35页 |
| 4.1.1 Hadoop集群的设计 | 第29-34页 |
| 4.1.2 Mysql的高可用设计和参数优化 | 第34-35页 |
| 4.2 抽取模块设计 | 第35-39页 |
| 4.2.1 Flume实时抽取日志 | 第35-37页 |
| 4.2.2 Sqoop抽取数据库数据 | 第37-38页 |
| 4.2.3 ftp主动下载 | 第38页 |
| 4.2.4 rsyncserver被动接收 | 第38-39页 |
| 4.3 计算模块设计 | 第39-49页 |
| 4.3.1 rabbitmq消息中间件 | 第39-41页 |
| 4.3.2 ElasticSearch日志搜索服务 | 第41-42页 |
| 4.3.3 Storm集群 | 第42-43页 |
| 4.3.4 Flume输出hdfs | 第43-44页 |
| 4.3.5 Hive数据装载 | 第44-46页 |
| 4.3.6 数据清洗机制设计 | 第46-49页 |
| 4.4 对外用户接口设计 | 第49-50页 |
| 4.4.1 hive查询界而和hive-server接口 | 第49页 |
| 4.4.2 hive报表系统 | 第49-50页 |
| 4.5 监控报警机制的设计与实现 | 第50-51页 |
| 4.6 调度系统设计与实现 | 第51-54页 |
| 第五章 系统验证 | 第54-59页 |
| 5.1 系统可靠性 | 第54-55页 |
| 5.2 系统实时性 | 第55-56页 |
| 5.3 海量日志计算 | 第56-59页 |
| 第六章 结论 | 第59-61页 |
| 6.1 海量日志分析系统已经达到的目标 | 第59-60页 |
| 6.2 不足与展望 | 第60-61页 |
| 参考文献 | 第61-63页 |
| 致谢 | 第63-64页 |