摘要 | 第4-6页 |
Abstract | 第6-7页 |
主要符号表 | 第17-18页 |
1 绪论 | 第18-36页 |
1.1 研究背景及意义 | 第18-19页 |
1.2 分类问题概述 | 第19-27页 |
1.2.1 分类问题简介 | 第19-20页 |
1.2.2 常见的分类方法 | 第20-25页 |
1.2.3 分类问题的常用工具 | 第25-27页 |
1.3 决策树算法研究现状 | 第27-33页 |
1.3.1 串行决策树研究现状 | 第27-32页 |
1.3.2 并行决策树研究现状 | 第32-33页 |
1.4 本文的研究内容与结构关系图 | 第33-36页 |
2 相关模型与框架 | 第36-44页 |
2.1 决策树 | 第36-40页 |
2.1.1 决策树算法 | 第36-37页 |
2.1.2 决策树算法的主要技术步骤 | 第37-39页 |
2.1.3 决策树的常用评价指标 | 第39-40页 |
2.2 Hadoop分布式计算框架 | 第40-44页 |
2.2.1 Hadoop分布式文件管理系统 | 第40-41页 |
2.2.2 Map-Reduce的基本流程 | 第41-43页 |
2.2.3 分布式算法的常用评价指标 | 第43-44页 |
3 基于C4.5决策树的分布式化方法 | 第44-62页 |
3.1 引言 | 第44页 |
3.2 C4.5决策树 | 第44-48页 |
3.2.1 信息熵、信息增益以及信息增益率 | 第45-47页 |
3.2.2 C4.5决策树的构造 | 第47-48页 |
3.3 基于C4.5决策树的分布式分类算法 | 第48-53页 |
3.3.1 属性选择 | 第49-51页 |
3.3.2 数据分割 | 第51-53页 |
3.3.3 MR-C4.5-Tree的构造 | 第53页 |
3.4 实验结果与分析 | 第53-61页 |
3.4.1 数据集与计算环境 | 第53-55页 |
3.4.2 MR-C4.5-Tree和C4.5的对比分析 | 第55-58页 |
3.4.3 MR-C4.5-Tree的并行性分析 | 第58-61页 |
3.5 本章小结 | 第61-62页 |
4 快速有序互信息决策树及其分布式化研究 | 第62-90页 |
4.1 引言 | 第62-63页 |
4.2 相关概念 | 第63-66页 |
4.2.1 优势粗糙集 | 第63-64页 |
4.2.2 有序互信息 | 第64-65页 |
4.2.3 非单调性的评价指标 | 第65-66页 |
4.3 快速有序互信息决策树 | 第66-70页 |
4.3.1 经典有序互信息决策树的构造 | 第66-68页 |
4.3.2 FRMIDT的构造 | 第68-70页 |
4.4 快速有序互信息决策树的分布式实现 | 第70-73页 |
4.4.1 并行分裂规则 | 第70-73页 |
4.4.2 MR-FRMIDT的构造 | 第73页 |
4.5 实验结果与分析 | 第73-89页 |
4.5.1 数据集与计算环境 | 第73-75页 |
4.5.2 FRMIDT和RMIDT的对比分析 | 第75-78页 |
4.5.3 FRMIDT与经典决策树的对比分析 | 第78-83页 |
4.5.4 在单调决策树中不同分裂规则间的对比分析 | 第83-85页 |
4.5.5 MR-FRMIDT的可行性分析 | 第85-87页 |
4.5.6 MR-FRMIDT的并行性分析 | 第87-89页 |
4.6 本章小结 | 第89-90页 |
5 基于皮尔逊相关系数的决策树及其分布式实现 | 第90-117页 |
5.1 引言 | 第90-91页 |
5.2 皮尔逊相关系数 | 第91页 |
5.3 基于皮尔逊相关系数决策树 | 第91-96页 |
5.3.1 基于皮尔逊相关系数的分裂规则 | 第91-95页 |
5.3.2 PCC-Tree的构造 | 第95-96页 |
5.4 基于皮尔逊相关系数决策树的分布式实现 | 第96-101页 |
5.4.1 基于皮尔逊相关系数的并行分裂规则 | 第96-99页 |
5.4.2 并行数据分割方法 | 第99-100页 |
5.4.3 MR-PCC-Tree的构造 | 第100-101页 |
5.5 实验结果与分析 | 第101-115页 |
5.5.1 数据集与计算环境 | 第101-103页 |
5.5.2 类标签对PCC-Tree性能的影响 | 第103-105页 |
5.5.3 停止条件对PCC-Tree性能的影响 | 第105-107页 |
5.5.4 PCC-Tree与经典决策树的对比分析 | 第107-111页 |
5.5.5 MR-PCC-Tree的可行性分析 | 第111-113页 |
5.5.6 MR-PCC-Tree的并行性分析 | 第113-115页 |
5.6 本章小结 | 第115-117页 |
6 结论与展望 | 第117-120页 |
6.1 结论 | 第117-118页 |
6.2 创新点 | 第118页 |
6.3 展望 | 第118-120页 |
参考文献 | 第120-130页 |
攻读博士学位期间科研项目及科研成果 | 第130-132页 |
致谢 | 第132-134页 |
作者简介 | 第134页 |