基于Storm与Hadoop的日志数据实时处理研究
| 摘要 | 第5-7页 |
| Abstract | 第7-9页 |
| 第1章 绪论 | 第10-18页 |
| 1.1 研究背景与意义 | 第10页 |
| 1.2 国内外研究进展 | 第10-14页 |
| 1.3 研究方案 | 第14-16页 |
| 1.4 本文结构组织 | 第16-18页 |
| 第2章 相关技术研究 | 第18-24页 |
| 2.1 分布式基础架构Hadoop研究 | 第18-20页 |
| 2.2 实时计算框架Storm研究 | 第20-24页 |
| 第3章 日志数据实时处理平台架构研究 | 第24-32页 |
| 3.1 需求分析 | 第24页 |
| 3.2 平台架构 | 第24-26页 |
| 3.3 离线分析与实时分析结果的整合 | 第26-28页 |
| 3.4 分布式集群实验环境部署 | 第28-30页 |
| 3.5 小结 | 第30-32页 |
| 第4章 日志数据的分布式采集与存储 | 第32-48页 |
| 4.1 开源日志收集系统研究 | 第32-33页 |
| 4.2 基于Flume的日志数据采集研究 | 第33-35页 |
| 4.3 基于HBase的日志数据存储研究 | 第35-38页 |
| 4.4 日志采集存储应用 | 第38-43页 |
| 4.5 实验与结果分析 | 第43-46页 |
| 4.6 小结 | 第46-48页 |
| 第5章 基于MapReduce的日志数据离线分析 | 第48-64页 |
| 5.1 离线分析概述 | 第48页 |
| 5.2 离线知识提取 | 第48-56页 |
| 5.3 实验结果与分析 | 第56-61页 |
| 5.4 小结 | 第61-64页 |
| 第6章 基于Storm的日志流数据实时分析 | 第64-80页 |
| 6.1 实时分析概述 | 第64-67页 |
| 6.2 基于Kafka消息队列的数据接入 | 第67-68页 |
| 6.3 基于微批量流处理的实时知识提取 | 第68-71页 |
| 6.4 基于共享知识库实时持续计算的异常分析 | 第71-74页 |
| 6.5 实验结果与分析 | 第74-78页 |
| 6.6 小结 | 第78-80页 |
| 第7章 结论与展望 | 第80-82页 |
| 7.1 结论 | 第80-81页 |
| 7.2 进一步研究展望 | 第81-82页 |
| 参考文献 | 第82-88页 |
| 致谢 | 第88-90页 |
| 攻读硕士期间发表论文及科研工作 | 第90页 |
