面向高维不平衡数据的随机森林算法及其并行化研究
摘要 | 第4-5页 |
ABSTRACT | 第5-6页 |
第1章 绪论 | 第11-19页 |
1.1 研究背景 | 第11页 |
1.2 国内外研究现状 | 第11-15页 |
1.2.1 高维不平衡数据研究现状 | 第11-12页 |
1.2.2 随机森林算法研究现状 | 第12-13页 |
1.2.3 分布式计算框架的研究现状 | 第13-15页 |
1.3 问题提出 | 第15页 |
1.4 研究目的及意义 | 第15-17页 |
1.4.1 研究目的 | 第15-16页 |
1.4.2 研究意义 | 第16-17页 |
1.5 本文主要工作 | 第17页 |
1.6 论文组织结构 | 第17-19页 |
第2章 相关文献综述 | 第19-35页 |
2.1 高维数据概述 | 第19-21页 |
2.1.1 高维数据特点 | 第19-20页 |
2.1.2 维度归约 | 第20-21页 |
2.2 不平衡数据概述 | 第21-24页 |
2.2.1 不平衡数据特点 | 第21-22页 |
2.2.2 数据平衡化解决方法 | 第22-24页 |
2.3 随机森林算法概述 | 第24-29页 |
2.3.1 决策树 | 第24-27页 |
2.3.2 随机森林定义 | 第27-28页 |
2.3.3 随机森林生成过程 | 第28-29页 |
2.3.4 随机森林分析 | 第29页 |
2.4 Spark并行平台概述 | 第29-34页 |
2.4.1 Spark概述 | 第30页 |
2.4.2 Spark生态系统 | 第30-32页 |
2.4.3 Spark的编程模型 | 第32-34页 |
2.5 本章小结 | 第34-35页 |
第3章 高维不平衡数据的平衡化处理方法 | 第35-42页 |
3.1 方法提出的动机 | 第35-36页 |
3.2 方法思想 | 第36页 |
3.3 相关概念 | 第36-40页 |
3.3.1 基于相似性度量的属性归约 | 第37页 |
3.3.2 样本集的空间分布状态 | 第37-38页 |
3.3.3 CS-SMOTE算法 | 第38-40页 |
3.4 高维不平衡数据的平衡化处理流程 | 第40-41页 |
3.4.1 数据平衡化方法设计 | 第40页 |
3.4.2 数据平衡化方法实现 | 第40-41页 |
3.5 本章小结 | 第41-42页 |
第4章 面向高维数据的随机森林算法及其并行化实现 | 第42-53页 |
4.1 算法提出动机 | 第42-43页 |
4.2 算法思想 | 第43-44页 |
4.3 相关概念 | 第44-46页 |
4.3.1 图概念介绍 | 第44-45页 |
4.3.2 特征相似图 | 第45-46页 |
4.4 面向高维数据的随机森林算法流程 | 第46-50页 |
4.4.1 面向高维数据的随机森林算法流程设计 | 第46-47页 |
4.4.2 高维数据中特征子空间生成过程的设计 | 第47-49页 |
4.4.3 高维数据中特征子空间生成过程的实现 | 第49-50页 |
4.5 算法的并行化改进 | 第50-52页 |
4.5.1 基于Spark平台的算法并行化设计 | 第50-51页 |
4.5.2 基于Spark平台的算法并行化实现 | 第51-52页 |
4.6 本章小结 | 第52-53页 |
第5章 实验设计与性能评价 | 第53-62页 |
5.1 实验数据描述 | 第53-54页 |
5.2 实验环境配置 | 第54-55页 |
5.2.1 Spark环境配置 | 第54页 |
5.2.2 实验环境 | 第54-55页 |
5.3 实验评价标准 | 第55-57页 |
5.3.1 分类测试指标 | 第55-56页 |
5.3.2 ROC曲线 | 第56页 |
5.3.3 算法加速比 | 第56-57页 |
5.4 实验结果与分析 | 第57-61页 |
5.4.1 实验结果 | 第57-60页 |
5.4.2 实验分析 | 第60-61页 |
5.5 本章小结 | 第61-62页 |
第6章 总结与展望 | 第62-64页 |
致谢 | 第64-65页 |
参考文献 | 第65-68页 |
攻读学位期间发表的学术论文以及参加科研情况 | 第68页 |