| 摘要 | 第5-6页 |
| abstract | 第6页 |
| 第1章 绪论 | 第9-17页 |
| 1.1 论文背景及研究的目的和意义 | 第9-12页 |
| 1.1.1 国家政策导向 | 第9页 |
| 1.1.2 电力大数据 | 第9-11页 |
| 1.1.3 公司自身发展需要 | 第11-12页 |
| 1.2 国内外研究动态 | 第12-13页 |
| 1.3 项目总体研究内容 | 第13-15页 |
| 1.4 本文研究内容 | 第15-17页 |
| 第2章 关键技术研究 | 第17-26页 |
| 2.1 大数据技术体系 | 第17-19页 |
| 2.1.1 数据整合技术 | 第17页 |
| 2.1.2 大数据存储技术 | 第17-18页 |
| 2.1.3 大数据处理技术 | 第18-19页 |
| 2.1.4 大数据分析技术 | 第19页 |
| 2.1.5 大数据可视化技术 | 第19页 |
| 2.2 HADOOP | 第19-21页 |
| 2.3 HIVE | 第21-23页 |
| 2.4 SPARK | 第23-25页 |
| 2.5 聚类分析 | 第25-26页 |
| 第3章系统整体设计 | 第26-37页 |
| 3.1 集群环境设计 | 第26-27页 |
| 3.1.1 硬件环境设计 | 第26-27页 |
| 3.1.2 软件环境设计 | 第27页 |
| 3.2 系统优化需求分析 | 第27-32页 |
| 3.2.1 表关系分析 | 第27-28页 |
| 3.2.2 表结构描述 | 第28-32页 |
| 3.2.3 场景分析 | 第32页 |
| 3.3 系统优化功能设计 | 第32-34页 |
| 3.4 分布式的K-MEANS算法设计 | 第34-37页 |
| 3.4.1 Map函数设计 | 第34-35页 |
| 3.4.2 Combine函数设计 | 第35页 |
| 3.4.3 Reduce函数设计 | 第35-37页 |
| 第4章 系统优化验证 | 第37-46页 |
| 4.1 场景验证流程描述 | 第37-38页 |
| 4.2 数据迁移 | 第38-41页 |
| 4.3 场景验证 | 第41-45页 |
| 4.3.1 场景一验证 | 第41-42页 |
| 4.3.2 场景二验证 | 第42-43页 |
| 4.3.3 场景三验证 | 第43-45页 |
| 4.4 场景验证总结 | 第45-46页 |
| 第5章 分布式K-MEANS算法的研究和实现 | 第46-63页 |
| 5.1 K-MEANS算法原理 | 第46-47页 |
| 5.2 基于MAPREDUCE的K-MEANS算法的思想 | 第47-49页 |
| 5.3 基于MAPREDUCE的K-MEANS算法的核心源码 | 第49-50页 |
| 5.4 实验数据描述 | 第50-52页 |
| 5.5 实验过程及结果 | 第52-63页 |
| 5.5.1 分布式算法正确性验证实验 | 第52-60页 |
| 5.5.2 单机对比实验 | 第60-61页 |
| 5.5.3 集群加速比实验 | 第61-62页 |
| 5.5.4 集群扩展率实验 | 第62-63页 |
| 第6章 结论与展望 | 第63-64页 |
| 参考文献 | 第64-68页 |
| 致谢 | 第68-69页 |
| 作者简介 | 第69页 |