智能电网大数据实时流处理方法研究
摘要 | 第5-6页 |
ABSTRACT | 第6-7页 |
第1章 绪论 | 第10-15页 |
1.1 课题研究的背景与意义 | 第10-11页 |
1.2 国内外研究现状 | 第11-13页 |
1.2.1 智能电网大数据研究现状 | 第11-12页 |
1.2.2 数据流处理研究现状 | 第12-13页 |
1.3 本文主要工作及内容安排 | 第13-15页 |
第2章 大数据流式计算技术 | 第15-22页 |
2.1 流式计算模型 | 第15页 |
2.2 流式计算关键技术 | 第15-17页 |
2.2.1 系统架构 | 第16页 |
2.2.2 编程接口 | 第16页 |
2.2.3 数据传输 | 第16-17页 |
2.3 开源流式计算系统 | 第17-21页 |
2.3.1 Spark系统 | 第17-18页 |
2.3.2 S4系统 | 第18-19页 |
2.3.3 Storm系统 | 第19-20页 |
2.3.4 Samza系统 | 第20-21页 |
2.4 流式计算典型应用场景 | 第21页 |
2.5 本章小结 | 第21-22页 |
第3章 智能电网大数据实时流处理框架 | 第22-28页 |
3.1 大数据来源及特征分析 | 第22-24页 |
3.1.1 智能电网中的大数据 | 第22-23页 |
3.1.2 智能电网大数据的特点 | 第23-24页 |
3.2 智能电网大数据分析 | 第24-25页 |
3.2.1 大数据处理方式分析 | 第24页 |
3.2.2 智能电网大数据分类处理分析 | 第24-25页 |
3.3 实时流处理框架的设计 | 第25-27页 |
3.4 本章小结 | 第27-28页 |
第4章 状态监测数据流的异常检测方法 | 第28-37页 |
4.1 状态监测的系统功能及异常检测 | 第28-29页 |
4.1.1 状态监测系统功能 | 第28页 |
4.1.2 状态监测的异常检测 | 第28-29页 |
4.2 流式处理平台Storm | 第29-31页 |
4.2.1 Storm工作原理 | 第29-30页 |
4.2.2 智能电网大数据流式处理平台选取 | 第30-31页 |
4.3 时间滑动窗口原理 | 第31-32页 |
4.3.1 时间滑动窗口概念 | 第31页 |
4.3.2 状态监测异常检测的滑动窗口模型 | 第31-32页 |
4.4 Storm框架下滑动窗口的拓扑实现 | 第32-36页 |
4.4.1 滑动窗口拓扑实现过程 | 第32-33页 |
4.4.2 状态监测数据流的并行处理过程 | 第33-36页 |
4.5 本章小结 | 第36-37页 |
第5章 实验测试及结果分析 | 第37-42页 |
5.1 实验环境 | 第37-38页 |
5.1.1 环境配置 | 第37页 |
5.1.2 集群搭建 | 第37-38页 |
5.2 实验测试数据 | 第38-39页 |
5.3 平均处理延时测试 | 第39-41页 |
5.3.1 Storm集群与单机对比测试 | 第39页 |
5.3.2 不同集群节点数的平均处理延时测试 | 第39-40页 |
5.3.3 不同进程并行度的平均处理延时测试 | 第40-41页 |
5.3.4 不同组件并发数的平均处理延时测试 | 第41页 |
5.4 本章小结 | 第41-42页 |
第6章 结论与展望 | 第42-43页 |
参考文献 | 第43-46页 |
攻读硕士学位期间发表的论文及其它成果 | 第46-47页 |
致谢 | 第47页 |