摘要 | 第3-4页 |
abstract | 第4-5页 |
第一章 绪论 | 第8-15页 |
1.1 课题的研究背景和意义 | 第8-9页 |
1.2 国内外研究现状与趋势 | 第9-13页 |
1.2.1 电力数据压缩的研究现状 | 第9页 |
1.2.2 云计算在大数据的存储与处理方面的研究现状 | 第9-10页 |
1.2.3 Hive压缩及查询优化的研究现状 | 第10-13页 |
1.3 主要研究内容及结构 | 第13-15页 |
第二章 铁路供电监控信息压缩格式 | 第15-28页 |
2.1 铁路供电调度监控系统 | 第15-18页 |
2.2 铁路供电调度监控信息流与处理 | 第18-22页 |
2.3 监控信息压缩格式与方法 | 第22-27页 |
2.4 本章小结 | 第27-28页 |
第三章 基于大数据组件的调度监控信息云平台实现 | 第28-45页 |
3.1 云计算与大数据组件 | 第28-30页 |
3.1.1 云计算 | 第28-29页 |
3.1.2 大数据组件 | 第29-30页 |
3.2 Hadoop云计算核心组件 | 第30-35页 |
3.2.1 分布式文件系统HDFS | 第30-32页 |
3.2.2 分布式资源管理器YARN | 第32-33页 |
3.2.3 分布式并行编程框架MapReduce | 第33-35页 |
3.3 基于Hadoop核心组件的调度监控信息云平台的搭建 | 第35-39页 |
3.4 调度监控Hadoop集群运行测试 | 第39-41页 |
3.5 搭建集群Eclipse开发环境 | 第41-44页 |
3.5.1 Eclipse安装MapReduce插件 | 第41-43页 |
3.5.2 Eclipse开发遥测数据压缩的MapReduce程序 | 第43-44页 |
3.6 本章小结 | 第44-45页 |
第四章 调度监控数据的分布式Map压缩存储 | 第45-68页 |
4.1 引言 | 第45-46页 |
4.2 数据仓库组件Hive | 第46-49页 |
4.2.1 体系架构与工作原理 | 第46-47页 |
4.2.2 数据类型 | 第47-48页 |
4.2.3 特点与查询语言 | 第48-49页 |
4.3 调度监控数据仓库部署 | 第49-54页 |
4.3.1 安装与配置 | 第50-52页 |
4.3.2 JDBC编程访问测试 | 第52-54页 |
4.4 调度监控数据的分布式Map压缩技术 | 第54-60页 |
4.4.1 分布式Map压缩原理 | 第54-55页 |
4.4.2 分布式Map压缩的实现 | 第55-60页 |
4.5 调度监控数据的分布式Map压缩测试 | 第60-67页 |
4.5.1 铁路 10kV监控数据的压缩性能测试 | 第60-65页 |
4.5.2 压缩对查询性能的影响 | 第65-67页 |
4.6 本章小结 | 第67-68页 |
第五章 调度监控数据的HQL连接查询优化 | 第68-76页 |
5.1 引言 | 第68页 |
5.2 混洗阶段分布式Map压缩加速连接查询 | 第68-71页 |
5.3 混洗阶段压缩查询的时效性公式推导 | 第71-73页 |
5.4 分布式Map压缩遥测时序数据连接查询测试 | 第73-75页 |
5.5 本章小结 | 第75-76页 |
第六章 调度监控大数据的Impala快速查询技术 | 第76-91页 |
6.1 引言 | 第76页 |
6.2 MPP技术 | 第76页 |
6.3 Impala大数据MPP查询组件 | 第76-78页 |
6.4 调度监控大数据的Impala遥测查询执行流程 | 第78-80页 |
6.5 调度监控大数据的Impala组件的部署 | 第80-84页 |
6.5.1 安装与配置 | 第80-83页 |
6.5.2 启动与运行测试 | 第83-84页 |
6.6 查询性能对比测试 | 第84-90页 |
6.6.1 加载实验 | 第85-87页 |
6.6.2 时间序列遥测信息的查询性能测试 | 第87-90页 |
6.7 本章小结 | 第90-91页 |
第七章 总结 | 第91-93页 |
7.1 主要工作回顾 | 第91-92页 |
7.2 本课题今后需进一步研究的地方 | 第92-93页 |
参考文献 | 第93-97页 |
个人简历 在读期间发表的学术论文 | 第97-98页 |
致谢 | 第98页 |