摘要 | 第5-6页 |
Abstract | 第6页 |
第1章 绪论 | 第9-14页 |
1.1 课题研究背景及意义 | 第9-10页 |
1.2 国内外研究现状 | 第10-12页 |
1.2.1 数据挖掘技术的研究现状 | 第10-11页 |
1.2.2 智能电网中大数据技术研究现状 | 第11-12页 |
1.3 本文主要研究内容 | 第12-13页 |
1.4 本文的组织结构 | 第13-14页 |
第2章 大数据关键技术研究 | 第14-18页 |
2.1 RDD结构 | 第14页 |
2.2 Spark Streaming实时计算框架 | 第14-16页 |
2.3 Spark SQL | 第16-17页 |
2.4 本章小结 | 第17-18页 |
第3章 结合Z-score标准化和FCM聚类算法的数据预处理研究 | 第18-23页 |
3.1 Z-score标准化方法 | 第18页 |
3.2 FCM聚类算法 | 第18-20页 |
3.3 电力营销系统中数据预处理流程 | 第20-22页 |
3.4 本章小结 | 第22-23页 |
第4章 基于Spark的数据挖掘算法研究 | 第23-37页 |
4.1 关联规则挖掘 | 第23-29页 |
4.1.1 基本概念和问题描述 | 第23-24页 |
4.1.2 关联规则挖掘的经典算法-Apriori | 第24-25页 |
4.1.3 FP-growth算法 | 第25-28页 |
4.1.4 基于Spark的FP-growth算法流程 | 第28-29页 |
4.2 FP-growth算法改进方案 | 第29-36页 |
4.2.1 FP-growth算法的不足 | 第29页 |
4.2.2 改进的FP-growth算法设计 | 第29-34页 |
4.2.2.1 稀疏矩阵存储 | 第29-30页 |
4.2.2.2 基于FCM聚类改进的FFP-growth算法 | 第30-34页 |
4.2.3 算法验证及效果分析 | 第34-36页 |
4.3 电力营销系统中改进的数据挖掘算法实现流程 | 第36页 |
4.4 本章小结 | 第36-37页 |
第5章 电力营销系统设计与实现 | 第37-52页 |
5.1 实验平台搭建 | 第37-43页 |
5.1.1 系统运行环境 | 第37页 |
5.1.2 基于Hadoop的Spark平台的搭建 | 第37-43页 |
5.1.2.1 Hadoop平台的搭建 | 第37-40页 |
5.1.2.2 Spark平台的搭建 | 第40-43页 |
5.2 电力营销系统体系结构设计 | 第43-48页 |
5.2.1 客户端的设计 | 第44页 |
5.2.2 服务器端的设计 | 第44-45页 |
5.2.3 客户端与服务器端之间通信的设计 | 第45-47页 |
5.2.4 系统功能模块设计 | 第47-48页 |
5.3 系统运行情况及性能测试 | 第48页 |
5.4 关联规则挖掘系统的实现 | 第48-51页 |
5.4.1 数据来源 | 第48-49页 |
5.4.2 数据预处理 | 第49-50页 |
5.4.3 关联规则挖掘 | 第50-51页 |
5.5 结果分析 | 第51页 |
5.6 本章小结 | 第51-52页 |
第6章 结论与展望 | 第52-54页 |
6.1 结论 | 第52-53页 |
6.2 展望 | 第53-54页 |
参考文献 | 第54-57页 |
攻读硕士学位期间发表的论文及其他研究成果 | 第57-58页 |
致谢 | 第58页 |