致谢 | 第5-6页 |
摘要 | 第6-7页 |
ABSTRACT | 第7页 |
1 引言 | 第11-15页 |
1.1 研究背景 | 第11-12页 |
1.2 研究现状 | 第12-13页 |
1.3 选题意义 | 第13-14页 |
1.4 论文主要内容 | 第14-15页 |
2 相关技术背景 | 第15-29页 |
2.1 无线传感网相关技术 | 第15-16页 |
2.1.1 无线传感网数据采集方式 | 第15-16页 |
2.1.2 无线传感网的数据存储 | 第16页 |
2.2 大数据生态系统 | 第16-24页 |
2.2.1 分布式文件系统 | 第17-19页 |
2.2.2 并行计算框架MapReduce | 第19-20页 |
2.2.3 并行计算和任务调度框架YARN | 第20-22页 |
2.2.4 基于内存的并行计算框架Spark | 第22-23页 |
2.2.5 其他大数据开源组件 | 第23-24页 |
2.3 大数据相关机器学习算法 | 第24-28页 |
2.3.1 线性回归算法 | 第24-25页 |
2.3.2 支持向量机分类算法 | 第25-27页 |
2.3.3 KMeans聚类算法 | 第27-28页 |
2.4 本章小结 | 第28-29页 |
3 能耗大数据分析平台的设计 | 第29-59页 |
3.1 需求分析 | 第29-32页 |
3.1.1 工业大数据与互联网大数据的区别与联系 | 第29-30页 |
3.1.2 大数据处理平台功能的需求分析 | 第30-31页 |
3.1.3 大数据处理平台性能的需求分析 | 第31-32页 |
3.2 架构设计 | 第32-36页 |
3.2.1 总体设计思路 | 第32-33页 |
3.2.2 无线传感网络层 | 第33-34页 |
3.2.3 大数据平台层 | 第34-35页 |
3.2.4 中间件层 | 第35-36页 |
3.3 无线传感网络层的设计 | 第36-44页 |
3.3.1 无线传感网络数据预处理 | 第36-37页 |
3.3.2 无线传感网络层数据存储与展示 | 第37-41页 |
3.3.3 无线传感网络层和分布式存储系统的数据传输 | 第41-44页 |
3.4 大数据平台层基础架构设计和选型 | 第44-48页 |
3.4.1 分布式存储选型和架构设计 | 第45页 |
3.4.2 分布式计算框架的选型和架构设计 | 第45-46页 |
3.4.3 大数据处理任务调度机制的设计和选型 | 第46-48页 |
3.5 中间件层的设计与研究 | 第48-50页 |
3.5.1 中间件层的总体设计思路 | 第48页 |
3.5.2 中间件层的模块化设计 | 第48-50页 |
3.6 核心功能的设计 | 第50-56页 |
3.6.1 能耗数据统计查询功能设计 | 第50-52页 |
3.6.2 能耗数据即时查询功能设计 | 第52-55页 |
3.6.3 能耗数据的复杂模型处理功能设计 | 第55-56页 |
3.7 本章小结 | 第56-59页 |
4 大数据能耗分析平台的实现 | 第59-89页 |
4.1 无线传感网络层的搭建和实现 | 第59-63页 |
4.1.1 无线传感网络拓扑 | 第59-60页 |
4.1.2 服务器端软件实现 | 第60-62页 |
4.1.3 服务器端数据实时显示功能的实现 | 第62-63页 |
4.2 大数据平台层的搭建 | 第63-70页 |
4.2.1 Hadoop生态系统部署 | 第65-69页 |
4.2.2 Spark相关组件的部署 | 第69页 |
4.2.3 开发环境的选择和部署 | 第69-70页 |
4.3 中间件层的实现 | 第70-78页 |
4.3.1 功能模块的实现 | 第70-77页 |
4.3.2 中间件层的工作流程 | 第77-78页 |
4.4 统计查询功能的实现 | 第78-82页 |
4.4.1 分区和分桶的使用 | 第78-80页 |
4.4.2 基于Hive的统计查询实现 | 第80-82页 |
4.5 即时查询功能的实现 | 第82-86页 |
4.5.1 HBaseCRUD类的封装 | 第82-83页 |
4.5.2 即时查询模块数据预处理 | 第83-84页 |
4.5.3 基于HBase的即时查询流程 | 第84-86页 |
4.6 能耗数据聚类分析的实现 | 第86-88页 |
4.6.1 能耗综合信息数据的生成 | 第86-87页 |
4.6.2 基于MLlib的K-means聚类分析功能实现 | 第87-88页 |
4.7 本章小结 | 第88-89页 |
5 大数据能耗分析平台的测试 | 第89-101页 |
5.1 测试环境 | 第89-90页 |
5.2 测试方式 | 第90页 |
5.3 能耗数据实时显示和查询功能测试 | 第90-94页 |
5.3.1 传感数据实时显示功能的测试 | 第90-91页 |
5.3.2 能耗数据查询功能的测试 | 第91-94页 |
5.4 能耗大数据分析与节能策略 | 第94-99页 |
5.4.1 能耗大数据的聚类分析 | 第94-97页 |
5.4.2 基于聚类分析结果的节能策略 | 第97-99页 |
5.5 本章小结 | 第99-101页 |
6 总结与展望 | 第101-103页 |
参考文献 | 第103-107页 |
作者简历及攻读硕士学位期间取得的研究成果 | 第107-111页 |
学位论文数据集 | 第111页 |