基于Storm改进的KNN日志处理研究
| 摘要 | 第5-6页 |
| Abstract | 第6页 |
| 第一章 绪论 | 第9-15页 |
| 1.1 研究的背景 | 第9-10页 |
| 1.2 研究的现状 | 第10-13页 |
| 1.2.1 分布式平台的研究现状 | 第10-11页 |
| 1.2.2 KNN算法研究现状 | 第11-12页 |
| 1.2.3 日志分析的研究现状 | 第12-13页 |
| 1.3 研究的目标和意义 | 第13页 |
| 1.4 论文的组织结构 | 第13-15页 |
| 第二章 日志分析相关技术研究 | 第15-27页 |
| 2.1 大数据平台Storm的研究 | 第15-18页 |
| 2.1.1 Storm简介 | 第15页 |
| 2.1.2 Storm关键特性 | 第15-16页 |
| 2.1.3 Storm的架构 | 第16-17页 |
| 2.1.4 Storm的编程模型 | 第17-18页 |
| 2.1.5 Stream Grouping策略 | 第18页 |
| 2.2 Zookeeper | 第18-20页 |
| 2.2.1 Zookeeper简介 | 第18-19页 |
| 2.2.2 Zookeeper特点 | 第19页 |
| 2.2.3 Zookeeper的工作原理 | 第19-20页 |
| 2.3 Kafka | 第20-21页 |
| 2.3.1 Kafka简介 | 第20页 |
| 2.3.2 Kafka的架构 | 第20-21页 |
| 2.4 redis | 第21-23页 |
| 2.4.1 redis简介 | 第21-22页 |
| 2.4.2 持久化 | 第22页 |
| 2.4.3 Redis主从复制 | 第22-23页 |
| 2.4.4 Redis集群 | 第23页 |
| 2.5 Flume简介 | 第23-25页 |
| 2.5.1 概述 | 第23-24页 |
| 2.5.2 事件的概念 | 第24页 |
| 2.5.3 Flume的基本架构 | 第24页 |
| 2.5.4 Flume的多级架构图 | 第24-25页 |
| 2.6 Hbase简介 | 第25-27页 |
| 2.6.1 简介 | 第25-26页 |
| 2.6.2 数据模型 | 第26-27页 |
| 第三章 日志分析系统的需求分析和架构 | 第27-30页 |
| 3.1 系统的需求分析 | 第27页 |
| 3.2 系统的总体设计 | 第27-30页 |
| 3.2.1 系统的架构 | 第27-28页 |
| 3.2.2 日志采集模块 | 第28页 |
| 3.2.3 数据缓存模块 | 第28页 |
| 3.2.4 初始数据存储模块 | 第28-29页 |
| 3.2.5 数据处理模块 | 第29页 |
| 3.2.6 日志处理结果存储模块 | 第29-30页 |
| 第四章 单机版KNN算法的改进 | 第30-36页 |
| 4.1 KNN算法简介 | 第30页 |
| 4.2 KNN缺陷 | 第30页 |
| 4.3 KNN的单机版改进 | 第30-36页 |
| 4.3.1 样本分布对分类效果的影响 | 第31-32页 |
| 4.3.2 基本定义 | 第32页 |
| 4.3.3 增加类边界区域的点 | 第32-33页 |
| 4.3.4 降低类中心的密度 | 第33-34页 |
| 4.3.5 参数的设置 | 第34页 |
| 4.3.6 程序执行过程 | 第34-36页 |
| 第五章 日志分析系统和分布式DKNN的实现 | 第36-43页 |
| 5.1 分布式DKNN实现 | 第36-40页 |
| 5.1.1 并行化的引言 | 第36页 |
| 5.1.2 并行度的设置 | 第36-37页 |
| 5.1.3 API的详解 | 第37页 |
| 5.1.4 并行化的原理 | 第37-38页 |
| 5.1.5 具体实现原理 | 第38-39页 |
| 5.1.6 算法实现过程 | 第39-40页 |
| 5.2 日志分析系统实现 | 第40-43页 |
| 第六章 实验 | 第43-49页 |
| 6.1 实验的环境 | 第43-44页 |
| 6.2 实验数据 | 第44页 |
| 6.3 实验的设计 | 第44-45页 |
| 6.4 单机版的比较结果 | 第45-46页 |
| 6.4.1 单机版执行时间测试 | 第45-46页 |
| 6.4.2 单机版分类准确率测试 | 第46页 |
| 6.5 分布式的对比结果 | 第46-48页 |
| 6.5.1 分布式执行时间的对比 | 第46-47页 |
| 6.5.2 分布式准确率的对比 | 第47-48页 |
| 6.6 实验的总结 | 第48-49页 |
| 第七章 总结和展望 | 第49-51页 |
| 7.1 总结 | 第49页 |
| 7.2 展望 | 第49-51页 |
| 参考文献 | 第51-53页 |
| 致谢 | 第53页 |
