摘要 | 第3-4页 |
abstract | 第4-5页 |
1 绪论 | 第8-18页 |
1.1 课题背景与意义 | 第8-9页 |
1.2 国内外研究现状 | 第9-15页 |
1.2.1 数据挖掘研究现状 | 第9-11页 |
1.2.2 Apriori算法研究现状 | 第11-15页 |
1.3 本文的研究意义及主要工作 | 第15页 |
1.4 本文的组织结构 | 第15-16页 |
1.5 本章小节 | 第16-18页 |
2 Apriori算法的MapReduce并行化研究 | 第18-34页 |
2.1 Apriori算法 | 第18-21页 |
2.1.1 Apriori算法基本思想 | 第19-20页 |
2.1.2 Apriori算法实现 | 第20-21页 |
2.2 AprioriMR算法 | 第21-24页 |
2.2.1 AprioriMR算法基本思想 | 第22-23页 |
2.2.2 AprioriMR算法实现 | 第23-24页 |
2.2.3 AprioriMR算法分析 | 第24页 |
2.3 hadoop分布式平台 | 第24-31页 |
2.3.1 Hadoop技术背景 | 第24-26页 |
2.3.2 分布式文件系统HDFS | 第26-28页 |
2.3.3 MapReduce编程模型 | 第28-30页 |
2.3.4 Hadoop数据库HBase | 第30-31页 |
2.4 基于Hadoop的数据挖掘系统的分析与设计 | 第31-33页 |
2.4.1 数据挖掘概述 | 第31页 |
2.4.2 基于Hadoop的数据挖掘系统 | 第31-33页 |
2.5 本章小结 | 第33-34页 |
3 基于加权项集的并行Apriori算法 | 第34-48页 |
3.1 算法的思想 | 第34-39页 |
3.1.1 数据预处理 | 第35-36页 |
3.1.2 数据分块 | 第36-37页 |
3.1.3 局部剪枝 | 第37-38页 |
3.1.4 全局剪枝 | 第38页 |
3.1.5 关联规则生成 | 第38-39页 |
3.2 算法的流程 | 第39-40页 |
3.3 算法的实现 | 第40-45页 |
3.3.1 数据预处理 | 第41-42页 |
3.3.2 数据分块 | 第42-43页 |
3.3.3 局部频繁项集的生成 | 第43页 |
3.3.4 全局频繁项集的生成 | 第43-45页 |
3.4 算法的性能分析 | 第45-46页 |
3.5 本章小结 | 第46-48页 |
4 实验环境介绍及实验结果分析 | 第48-59页 |
4.1 实验环境设计 | 第48页 |
4.2 集群实验环境的搭建 | 第48-52页 |
4.3 实验中MapReduce的数据流程 | 第52-53页 |
4.4 实验数据来源说明 | 第53页 |
4.5 实验结果及不同算法的对比 | 第53-57页 |
4.5.1 算法的有效性验证 | 第54页 |
4.5.2 算法的支持度值设定实验 | 第54-55页 |
4.5.3 不同节点下算法的运行时间实验 | 第55-56页 |
4.5.4 不同支持度下算法的运行时间实验 | 第56-57页 |
4.5.5 不同数据量下算法的运行时间实验 | 第57页 |
4.6 本章小结 | 第57-59页 |
5 总结与展望 | 第59-61页 |
5.1 总结 | 第59页 |
5.2 展望 | 第59-61页 |
致谢 | 第61-63页 |
参考文献 | 第63-66页 |