摘要 | 第3-4页 |
abstract | 第4页 |
第一章 绪论 | 第7-11页 |
1.1 研究背景 | 第7页 |
1.2 钻井行业国内外研究现状 | 第7-9页 |
1.2.1 钻井信息管理系统的研究现状 | 第7-8页 |
1.2.2 大数据在石油行业的研究与应用现状 | 第8-9页 |
1.3 研究的目的与意义 | 第9页 |
1.4 论文组织结构 | 第9-11页 |
第二章 大数据环境下油气钻井信息分布式多维分析系统总体结构 | 第11-21页 |
2.1 数据仓库和OLAP技术的基本概念 | 第11-12页 |
2.1.1 数据仓库定义及特点 | 第11-12页 |
2.1.2 联机分析处理的概念 | 第12页 |
2.2 大数据技术Hadoop介绍 | 第12-16页 |
2.2.1 概念与特点 | 第12-13页 |
2.2.2 分布式文件系统HDFS技术介绍 | 第13-15页 |
2.2.3 编程模型MapReduce技术介绍 | 第15-16页 |
2.3 大数据环境下的多维分析和技术 | 第16-19页 |
2.3.1 对Impala技术的介绍 | 第17-18页 |
2.3.2 对SparkSQL技术的介绍 | 第18页 |
2.3.3 对Druid技术的介绍 | 第18页 |
2.3.4 对ApacheKylin技术的介绍 | 第18-19页 |
2.4 大数据环境下油气钻井信息分布式多维分析系统总体结构 | 第19-20页 |
2.4.1 系统总体结构 | 第19-20页 |
2.4.2 系统的特点 | 第20页 |
2.5 本章小结 | 第20-21页 |
第三章 大数据环境下油气钻井信息分布式数据仓库的设计 | 第21-33页 |
3.1 大数据环境下油气钻井信息分布式数据仓库的体系结构 | 第21-23页 |
3.1.1 数据仓库Hive简介 | 第21-22页 |
3.1.2 系统的总体结构 | 第22-23页 |
3.2 油气钻井信息数据仓库数据模型的设计 | 第23-27页 |
3.2.1 数据仓库主题确定 | 第23页 |
3.2.2 事实表和维表的设计 | 第23-25页 |
3.2.3 数据模型的设计 | 第25-27页 |
3.3 基于Kettle和Sqoop的数据抽取、转换和装载 | 第27-30页 |
3.3.1 基于Kettle的数据抽取 | 第28页 |
3.3.2 基于Kettle的数据转换 | 第28-29页 |
3.3.3 基于Sqoop的数据装载 | 第29-30页 |
3.4 大数据环境下油气钻井信息分布式数据仓库数据的存储 | 第30-32页 |
3.4.1 数据存储结构优化 | 第30页 |
3.4.2 数据模型优化 | 第30-31页 |
3.4.3 数据仓库Hive的元数据 | 第31-32页 |
3.5 本章小结 | 第32-33页 |
第四章 大数据环境下油气钻井信息分布式多维分析系统的设计 | 第33-53页 |
4.1 大数据环境下油气钻井信息分布式多维分析的体系结构设计 | 第33-34页 |
4.2 大数据环境下油气钻井分布式多维分析模型设计 | 第34-40页 |
4.2.1 多维立方体数据模型 | 第34-36页 |
4.2.2 钻井信息多维分析预计算Cube模型的构造 | 第36-39页 |
4.2.3 进行Cube运算 | 第39-40页 |
4.3 分析模型Cube数据的存储与优化 | 第40-43页 |
4.3.1 数据库HBase简介 | 第40-41页 |
4.3.2 数据库HBase存储与优化 | 第41-43页 |
4.4 数据查询优化 | 第43-44页 |
4.4.1 关键字RowKey的设计与优化 | 第43-44页 |
4.4.2 关键字RowKey的编码选择与优化 | 第44页 |
4.5 大数据环境下油气钻井信息分布式多维分析数据的查询流程 | 第44-45页 |
4.6 钻井信息分布式多维分析系统的实现 | 第45-51页 |
4.6.1 大数据集群软硬件环境 | 第45-47页 |
4.6.2 部署Hadoop集群 | 第47页 |
4.6.3 多维数据查询结果展示 | 第47-51页 |
4.7 查询性能的比较 | 第51-52页 |
4.8 本章小结 | 第52-53页 |
第五章 总结与展望 | 第53-54页 |
5.1 论文工作总结 | 第53页 |
5.2 进一步展望研究 | 第53-54页 |
致谢 | 第54-55页 |
参考文献 | 第55-57页 |
攻读学位期间参加科研情况及获得的学术成果 | 第57-58页 |