基于Spark平台的恶意流量监测分析系统
| 致谢 | 第5-6页 |
| 摘要 | 第6-7页 |
| ABSTRACT | 第7-8页 |
| 1 引言 | 第12-16页 |
| 1.1 论文研究背景及意义 | 第12页 |
| 1.2 国内外研究现状 | 第12-13页 |
| 1.2.1 DDos防御方法研究 | 第12-13页 |
| 1.2.2 基于Netflow的数据流采集的研究 | 第13页 |
| 1.3 论文研究内容与创新点 | 第13-14页 |
| 1.4 本文主要工作及文章结构 | 第14-16页 |
| 2 相关知识及技术 | 第16-35页 |
| 2.1 恶意流量 | 第16-23页 |
| 2.1.1 恶意流量攻击方法 | 第16-21页 |
| 2.1.2 恶意流量分类 | 第21页 |
| 2.1.3 恶意流量检测方法 | 第21-23页 |
| 2.2 恶意流量检测方法研究 | 第23-25页 |
| 2.3 流量采集技术 | 第25-30页 |
| 2.3.1 Netflow原理 | 第25-26页 |
| 2.3.2 Netflow输出流信息的格式 | 第26页 |
| 2.3.3 现有Netflow工具分析 | 第26-30页 |
| 2.4 大数据计算平台Spark | 第30-34页 |
| 2.4.1 Spark主要概念 | 第30-31页 |
| 2.4.2 Spark编程接口 | 第31页 |
| 2.4.3 Spark streaming | 第31页 |
| 2.4.4 Spark机器学习编程接口 | 第31-34页 |
| 2.5 本章小结 | 第34-35页 |
| 3 基于Spark的系统整体架构 | 第35-46页 |
| 3.1 系统设计原则 | 第35-36页 |
| 3.1.1 可扩展性 | 第35页 |
| 3.1.2 鲁棒性 | 第35页 |
| 3.1.3 大吞吐量 | 第35-36页 |
| 3.1.4 高速性 | 第36页 |
| 3.1.5 可定制性 | 第36页 |
| 3.2 系统模块 | 第36-45页 |
| 3.2.1 数据收集模块 | 第37-39页 |
| 3.2.2 简单异常检测模块 | 第39-41页 |
| 3.2.3 数据存储模块 | 第41-43页 |
| 3.2.4 数据处理模块 | 第43-45页 |
| 3.3 本章小结 | 第45-46页 |
| 4 系统设计与实现 | 第46-72页 |
| 4.1 平台构建模块 | 第46-50页 |
| 4.2 算法设计模块 | 第50-66页 |
| 4.2.1 特征选择算法 | 第50-52页 |
| 4.2.2 基于线性拟合的特征选择方法 | 第52-53页 |
| 4.2.3 基于线性拟合特征集的聚类算法 | 第53-60页 |
| 4.2.4 基于线性拟合特征集的分类算法 | 第60-66页 |
| 4.3 算法实现 | 第66-71页 |
| 4.3.1 Hadoop算法实现 | 第66-69页 |
| 4.3.2 Spark算法实现 | 第69-71页 |
| 4.4 本章小结 | 第71-72页 |
| 5 实验和结果分析 | 第72-78页 |
| 5.1 实验数据来源及数据集划分 | 第72-73页 |
| 5.2 实验结果及分析 | 第73-77页 |
| 5.3 本章小结 | 第77-78页 |
| 6 总结与展望 | 第78-80页 |
| 6.1 论文工作总结 | 第78页 |
| 6.2 下一步研究工作 | 第78-80页 |
| 参考文献 | 第80-82页 |
| 作者简介及攻读硕士学位期间取得的研究成果 | 第82-84页 |
| 学位论文数据集 | 第84页 |
