摘要 | 第5-6页 |
ABSTRACT | 第6页 |
第一章 绪论 | 第11-18页 |
1.1 研究背景及意义 | 第11-13页 |
1.2 国内外研究现状 | 第13-15页 |
1.3 研究内容 | 第15-16页 |
1.4 论文结构 | 第16-18页 |
第二章 云存储及挖掘频繁项集相关技术 | 第18-33页 |
2.1 云计算 | 第18-20页 |
2.1.1 云存储技术 | 第18-20页 |
2.1.2 海量数据处理技术 | 第20页 |
2.2 HADOOP介绍 | 第20-23页 |
2.2.1 HDFS分布式文件系统 | 第21-22页 |
2.2.2 MAPREDUCE编程模型 | 第22-23页 |
2.3 高可用性的HDFS | 第23-24页 |
2.3.1 可用性 | 第23-24页 |
2.3.2 HDFS的高可用性 | 第24页 |
2.4 HDFS的元数据分析 | 第24-27页 |
2.4.1 内存元数据结构 | 第25-26页 |
2.4.2 磁盘元数据文件 | 第26-27页 |
2.5 挖掘频繁项集 | 第27-32页 |
2.5.1 数据挖掘 | 第27-28页 |
2.5.2 关联规则中的挖掘闭频繁项集 | 第28页 |
2.5.3 关FP-GROWTH算法及其并行化 | 第28-32页 |
2.6 本章小结 | 第32-33页 |
第三章 基于HEARTBEAT与AVATARNODE的HDFS高可用性方案 | 第33-47页 |
3.1 现有解决方案的比较 | 第33页 |
3.2 AVATARNODE的方案分析及存在的问题 | 第33-39页 |
3.2.1 NAMENODE的启动流程 | 第34-36页 |
3.2.2 PRIMARY AVATARNODE的启动流程 | 第36-37页 |
3.2.3 STANDBY AVATARNODE的启动流程 | 第37页 |
3.2.4 元数据的一致性 | 第37-38页 |
3.2.4.1 元数据目录树信息 | 第37-38页 |
3.2.4.2 DATANODE与BLOCK数据块映射信息 | 第38页 |
3.2.5 切换流程 | 第38页 |
3.2.6 存在的问题 | 第38-39页 |
3.3 基于HEARTBEAT与AVATARNODE的HDFS高可用性方案 | 第39-46页 |
3.3.1 热备自动切换方案 | 第39-44页 |
3.3.1.1 HEARTBEAT介绍 | 第39-40页 |
3.3.1.2 基于HEARTBEAT与AVATARNODE的高可用性方案 | 第40-42页 |
3.3.1.3 实验分析 | 第42-44页 |
3.3.2 SECONDARYAVATARNODE方案 | 第44-46页 |
3.4 本章小结 | 第46-47页 |
第四章 基于CLOSET+算法对PFP算法的改进与优化 | 第47-67页 |
4.1 PFP算法介绍 | 第47-50页 |
4.2 PFP算法在挖掘闭频繁项集时存在的问题 | 第50-51页 |
4.3 对集群分组方法的改进 | 第51-55页 |
4.3.1 不均匀分组 | 第51-52页 |
4.3.2 不均匀分组的步骤描述 | 第52-53页 |
4.3.3 测试结果 | 第53-55页 |
4.4 基于CLOSET+算法的优化 | 第55-59页 |
4.4.1 由上而下的投影策略 | 第55-58页 |
4.4.2 优化后的算法描述 | 第58-59页 |
4.5 对挖掘结果过滤的改进 | 第59-65页 |
4.5.1 基于滑动窗.的过滤方式 | 第59-64页 |
4.5.2 基于滑动窗.的过滤算法的描述 | 第64-65页 |
4.6 本章小结 | 第65-67页 |
第五章 实验测试与分析 | 第67-72页 |
5.1 实验数据 | 第67页 |
5.2 实验环境 | 第67-68页 |
5.3 实验结果分析 | 第68-71页 |
5.3.1 与PFP算法的比较 | 第68-69页 |
5.3.2 加速比对比实验 | 第69-71页 |
5.4 本章小结 | 第71-72页 |
第六章 总结与展望 | 第72-74页 |
6.1 本文总结 | 第72页 |
6.2 未来的工作 | 第72-74页 |
致谢 | 第74-75页 |
参考文献 | 第75-79页 |