摘要 | 第3-5页 |
ABSTRACT | 第5-6页 |
第一章 绪论 | 第9-13页 |
1.1 课题的研究背景和意义 | 第9-10页 |
1.2 国内外研究现状与趋势 | 第10-12页 |
1.3 主要研究内容及结构 | 第12-13页 |
第二章 铁道供电监控大数据处理的实时性问题 | 第13-22页 |
2.1 铁路供电系统 | 第13-15页 |
2.2 铁路供电调度监控技术 | 第15-17页 |
2.3 调度监控信息流 | 第17-19页 |
2.4 获取模拟实时监测数据 | 第19-21页 |
2.5 本章小结 | 第21-22页 |
第三章 调度监控大数据的计算形态与处理技术 | 第22-33页 |
3.1 电力大数据主要处理技术 | 第22-24页 |
3.1.1 批处理模式 | 第22-23页 |
3.1.2 流计算模式 | 第23-24页 |
3.2 Storm分布式流计算框架 | 第24-28页 |
3.2.1 Storm流计算拓扑 | 第24-26页 |
3.2.2 喷嘴/螺栓组件拓扑编程模型 | 第26-28页 |
3.3 分布式消息队列系统 | 第28-30页 |
3.3.1 Kafka分布式消息系统 | 第28-30页 |
3.3.2 Metamorphosis分布式消息中间件 | 第30页 |
3.4 No SQL数据库HBase | 第30-32页 |
3.4.1 列存储数据库HBase | 第31-32页 |
3.4.2 HBase与传统关系型数据库的比较 | 第32页 |
3.5 本章小结 | 第32-33页 |
第四章 基于Storm的调度监控流计算实时处理系统实现 | 第33-54页 |
4.1 整体架构和模块设计 | 第33-34页 |
4.2 监测数据源接入模块 | 第34-38页 |
4.2.1 分布式消息系统部署 | 第34-36页 |
4.2.2 监测信息的发布/订阅实现关键代码 | 第36-37页 |
4.2.3 主题消息发布测试 | 第37-38页 |
4.3 实时流计算模块 | 第38-43页 |
4.3.1 调度监控流计算集群部署 | 第38-40页 |
4.3.2 监测数据拓扑实例的实现 | 第40-43页 |
4.4 分布式存储模块 | 第43-48页 |
4.4.1 基于HBase的调度监控分布式存储系统 | 第43-44页 |
4.4.2 分布式存储系统的具体实现 | 第44-47页 |
4.4.3 基于YCSB的数据读取测试 | 第47-48页 |
4.5 集成系统性能测试及实例运行结果分析 | 第48-53页 |
4.5.1 监测数据拓扑实例压力测试 | 第48-50页 |
4.5.2 分布式内存负荷测试 | 第50-51页 |
4.5.3 消息堆积压力测试 | 第51-52页 |
4.5.4 监测数据流计算结果查询 | 第52-53页 |
4.6 本章小结 | 第53-54页 |
第五章 基于Storm的调度监控流计算实时处理系统性能优化 | 第54-66页 |
5.1 运行参数优化 | 第54-58页 |
5.1.1 拓扑并行度参数的配置优化 | 第54-56页 |
5.1.2 其他重要系统参数的配置优化 | 第56-58页 |
5.2 基于Storm流计算并行滑动窗口的优化 | 第58-65页 |
5.2.1 传统滑动窗口模型的连续计算 | 第58-59页 |
5.2.2 快速并行滑动窗口的连续聚集查询计算 | 第59-62页 |
5.2.3 快速并行滑动窗口的拓扑实现 | 第62-63页 |
5.2.4 并行滑动窗口的拓扑实例集群测试 | 第63-65页 |
5.3 本章小结 | 第65-66页 |
第六章 调度监控数据流计算与批处理系统集成实现 | 第66-75页 |
6.1 调度监控数据流计算与批处理集成方案 | 第66-68页 |
6.2 基于YARN的调度监控流计算框架部署和启动测试 | 第68-72页 |
6.3 基于Storm-on-Yarn的拓扑实例运行测试 | 第72-74页 |
6.4 本章小结 | 第74-75页 |
第七章 总结 | 第75-77页 |
7.1 主要工作回顾 | 第75页 |
7.2 本课题今后需进一步研究的地方 | 第75-77页 |
参考文献 | 第77-81页 |
个人简历 在读期间发表的学术论文 | 第81-82页 |
致谢 | 第82页 |