非平衡大数据应用领域的多决策树及其分布式计算理论研究
摘要 | 第3-5页 |
ABSTRACT | 第5-7页 |
第一章 绪论 | 第10-18页 |
1.1 课题研究的背景及意义 | 第10-11页 |
1.2 国内外研究动态 | 第11-14页 |
1.2.1 决策树研究现状 | 第11-12页 |
1.2.2 非平衡数据研究现状 | 第12-13页 |
1.2.3 并行算法研究现状 | 第13-14页 |
1.3 存在的技术问题 | 第14-15页 |
1.4 完成的主要工作 | 第15页 |
1.5 文章结构安排 | 第15-18页 |
第二章 决策树分类算法 | 第18-30页 |
2.1 分类预测算法概述 | 第18-22页 |
2.2 ID3算法 | 第22-23页 |
2.3 C4.5 算法 | 第23-25页 |
2.3.1 信息增益率的计算 | 第23-24页 |
2.3.2 剪枝 | 第24-25页 |
2.4 CART算法 | 第25-26页 |
2.5 SLIQ算法 | 第26页 |
2.6 SPRINT算法 | 第26-27页 |
2.7 决策树算法对比 | 第27页 |
2.8 本章小结 | 第27-30页 |
第三章 非平衡数据集应用领域的决策树算法研究 | 第30-48页 |
3.1 非平衡数据集的研究 | 第30-31页 |
3.2 随机森林 | 第31-33页 |
3.2.1 Bootstrap | 第31-32页 |
3.2.2 随机森林算法实现 | 第32-33页 |
3.3 代价函数 | 第33-34页 |
3.4 代价敏感属性选择混合策略 | 第34-37页 |
3.4.1 分裂指标性能比较 | 第34-35页 |
3.4.2 基于代价敏感的属性选择混合策略 | 第35-37页 |
3.5 CHAIRF多决策树算法 | 第37-39页 |
3.6 实验验证及结果分析 | 第39-45页 |
3.6.1 CHDT算法性能验证 | 第39-43页 |
3.6.2 CHAIRF算法性能验证 | 第43-45页 |
3.7 煤矿瓦斯预警有效性验证 | 第45-46页 |
3.8 本章小结 | 第46-48页 |
第四章 Hadoop分布式系统设计 | 第48-62页 |
4.1 并行计算、分布式计算和云计算概述 | 第48-49页 |
4.2 Hadoop分布式系统 | 第49-54页 |
4.2.1 MapReduce | 第49-52页 |
4.2.2 HDFS | 第52-54页 |
4.3 Hadoop实验平台搭建 | 第54-59页 |
4.3.1 基础环境配置 | 第55页 |
4.3.2 SSH无密码登录 | 第55页 |
4.3.3 Hadoop安装配置 | 第55-58页 |
4.3.4 启动Hadoop平台 | 第58-59页 |
4.4 平台测试 | 第59-60页 |
4.5 本章小节 | 第60-62页 |
第五章 分布式CHAIRF多决策树算法设计 | 第62-78页 |
5.1 准确率与算法计算时间研究 | 第62-65页 |
5.1.1 决策树算法准确率研究 | 第62-63页 |
5.1.2 决策树算法计算时间研究 | 第63-65页 |
5.2 CHAIRF算法分布式编程模型 | 第65-71页 |
5.2.1 InputFormat设计 | 第66-67页 |
5.2.2 Mapper设计 | 第67-68页 |
5.2.3 Reducer设计 | 第68-69页 |
5.2.4 实验设计及性能分析 | 第69-71页 |
5.3 多线程分布式CHAIRF算法 | 第71-76页 |
5.3.1 算法设计 | 第71-73页 |
5.3.2 实验 | 第73-76页 |
5.4 可扩展性分析 | 第76页 |
5.5 本章小结 | 第76-78页 |
第六章 总结与展望 | 第78-80页 |
6.1 总结 | 第78-79页 |
6.2 下一步工作展望 | 第79页 |
6.3 本章小结 | 第79-80页 |
参考文献 | 第80-86页 |
致谢 | 第86-88页 |
攻读学位期间发表的学术论文目录 | 第88-90页 |
论文受项目资助情况 | 第90页 |