摘要 | 第4-5页 |
abstract | 第5页 |
第一章 绪论 | 第8-12页 |
1.1 研究背景和意义 | 第8-9页 |
1.2 课题研究现状 | 第9-10页 |
1.3 本文的主要工作 | 第10页 |
1.4 论文组织结构 | 第10-12页 |
第二章 相关背景知识介绍 | 第12-21页 |
2.1 流数据挖掘的概念和特点 | 第12-13页 |
2.2 大数据分布式处理平台 | 第13-16页 |
2.3 Kafka和Redis | 第16-18页 |
2.4 流数据挖掘中的分类算法 | 第18-20页 |
2.5 本章小结 | 第20-21页 |
第三章 基于决策树算法的概念漂移数据流分类方法 | 第21-36页 |
3.1 概念漂移定义和检测方法研究 | 第21-22页 |
3.1.1 概念漂移的定义和分类 | 第21-22页 |
3.1.2 流数据概念漂移探测和处理方法 | 第22页 |
3.2 概念漂移检测及流数据分类算法P-HT | 第22-32页 |
3.2.1 Hoeffding不等式 | 第22-24页 |
3.2.2 流分类算法CVFDT | 第24-25页 |
3.2.3 基于Hoeffding不等式的概念漂移数据流分类算法P-HT | 第25-32页 |
3.3 概念漂移探测实验结果与分析 | 第32-35页 |
3.3.1 实验数据集描述 | 第32-33页 |
3.3.2 评估指标和实验结果 | 第33-35页 |
3.4 本章小结 | 第35-36页 |
第四章 基于Storm平台的P-HT算法并行化研究 | 第36-49页 |
4.1 Storm基本原理和并行化机制分析 | 第36-37页 |
4.2 决策树算法并行化机制分析 | 第37-40页 |
4.2.1 任务并行化 | 第37-38页 |
4.2.2 水平并行化 | 第38-39页 |
4.2.3 垂直并行化 | 第39-40页 |
4.3 P-HT算法在Storm上的并行化设计 | 第40-48页 |
4.3.1 P-HT并行化架构设计 | 第40-42页 |
4.3.2 关键模块设计 | 第42-43页 |
4.3.3 基于Storm平台的P-HT算法拓扑框架设计 | 第43-48页 |
4.3.4 算法复杂度分析 | 第48页 |
4.4 本章小结 | 第48-49页 |
第五章 基于Storm的P-HT并行化算法实现与应用 | 第49-60页 |
5.1 Storm分布式集群环境搭建 | 第49-54页 |
5.1.1 Storm单机模式部署 | 第50-52页 |
5.1.2 Storm集群模式部署 | 第52-54页 |
5.2 实验数据集和算法参数配置 | 第54-56页 |
5.2.1 实验数据集描述 | 第54-55页 |
5.2.2 算法参数配置 | 第55-56页 |
5.3 实验结果与分析 | 第56-59页 |
5.3.1 算法准确率分析 | 第56-57页 |
5.3.2 抗概念漂移性能分析 | 第57页 |
5.3.3 算法并行化效果分析 | 第57-58页 |
5.3.4 算法的吞吐量分析 | 第58-59页 |
5.4 本章小结 | 第59-60页 |
第六章 总结与展望 | 第60-62页 |
6.1 总结 | 第60页 |
6.2 工作展望 | 第60-62页 |
参考文献 | 第62-65页 |
附录1 攻读硕士学位期间撰写的论文 | 第65-66页 |
附录2 攻读硕士学位期间申请的专利 | 第66-67页 |
附录3 攻读硕士学位期间参加的科研项目 | 第67-68页 |
致谢 | 第68页 |