基于Spark的智慧城市能耗数据分析的研究与实现
| 摘要 | 第5-6页 |
| ABSTRACT | 第6-7页 |
| 符号对照表 | 第11-12页 |
| 缩略语对照表 | 第12-15页 |
| 第一章 绪论 | 第15-19页 |
| 1.1 选题背景和意义 | 第15-16页 |
| 1.2 国内外研究现状 | 第16-17页 |
| 1.3 研究内容与工作 | 第17-18页 |
| 1.4 论文结构 | 第18-19页 |
| 第二章 相关理论与技术概述 | 第19-27页 |
| 2.1 决策树算法 | 第19-20页 |
| 2.2 皮尔逊相关系数 | 第20-21页 |
| 2.3 Hadoop分布式文件系统 | 第21-22页 |
| 2.4 Sqoop | 第22-24页 |
| 2.5 Spark | 第24-26页 |
| 2.6 本章小结 | 第26-27页 |
| 第三章 需求分析与总体架构设计 | 第27-37页 |
| 3.1 系统功能需求分析 | 第27-29页 |
| 3.1.1 用电数据采集与存储 | 第27-28页 |
| 3.1.2 用电数据分析 | 第28-29页 |
| 3.2 系统非功能需求分析 | 第29页 |
| 3.2.1 高可用性 | 第29页 |
| 3.2.2 高可扩展性 | 第29页 |
| 3.2.3 高效性 | 第29页 |
| 3.2.4 电量预测模型高准确性 | 第29页 |
| 3.3 系统总体架构设计 | 第29-36页 |
| 3.3.1 用电数据采集与存储架构设计 | 第31-33页 |
| 3.3.2 用电数据分析架构设计 | 第33-36页 |
| 3.4 本章小结 | 第36-37页 |
| 第四章 系统详细设计与实现 | 第37-59页 |
| 4.1 模块划分与类图 | 第37-39页 |
| 4.2 数据采集与存储 | 第39-44页 |
| 4.2.1 数据存储模块 | 第40页 |
| 4.2.2 数据采集模块 | 第40-44页 |
| 4.3 用电数据分析 | 第44-58页 |
| 4.3.1 统计查询模块 | 第44-47页 |
| 4.3.2 数据预处理模块 | 第47-48页 |
| 4.3.3 相关性分析模块 | 第48-50页 |
| 4.3.4 决策树构造模块 | 第50-52页 |
| 4.3.5 决策树参数调优 | 第52-56页 |
| 4.3.6 验证与误差分析 | 第56-58页 |
| 4.4 本章小结 | 第58-59页 |
| 第五章 测试与验证 | 第59-75页 |
| 5.1 实验环境搭建 | 第59-64页 |
| 5.1.1 软硬件环境 | 第59-60页 |
| 5.1.2 系统部署与启动 | 第60-64页 |
| 5.2 系统功能测试 | 第64-70页 |
| 5.2.1 数据采集与存储 | 第64-67页 |
| 5.2.2 用电数据分析 | 第67-70页 |
| 5.3 非功能性测试 | 第70-71页 |
| 5.3.1 高可用性 | 第70页 |
| 5.3.2 高可扩展性 | 第70-71页 |
| 5.3.3 高效性 | 第71页 |
| 5.3.4 用电预测模型高准确性 | 第71页 |
| 5.4 性能分析与比较 | 第71-73页 |
| 5.5 本章小结 | 第73-75页 |
| 第六章 总结与展望 | 第75-77页 |
| 6.1 总结 | 第75页 |
| 6.2 展望 | 第75-77页 |
| 参考文献 | 第77-79页 |
| 致谢 | 第79-81页 |
| 作者简介 | 第81-82页 |
