摘要 | 第5-6页 |
abstract | 第6-7页 |
第一章 绪论 | 第11-20页 |
1.1 研究背景及意义 | 第11-12页 |
1.2 国内外研究现状 | 第12-17页 |
1.2.1 OLAP理论的发展和研究现状 | 第12页 |
1.2.2 大数据OLAP技术发展现状 | 第12-17页 |
1.3 研究内容 | 第17-18页 |
1.4 论文组织结构 | 第18-19页 |
1.5 本章小结 | 第19-20页 |
第二章 相关基础理论及技术研究 | 第20-33页 |
2.1 OLAP技术简介 | 第20-27页 |
2.1.1 基本概念 | 第20-22页 |
2.1.2 OLAP种类 | 第22-24页 |
2.1.3 MOLAP相关概念 | 第24-27页 |
2.2 面向海量数据的存储技术简述 | 第27-30页 |
2.2.1 HDFS | 第27页 |
2.2.2 Hive | 第27-28页 |
2.2.3 HBase | 第28-29页 |
2.2.4 Redis | 第29-30页 |
2.3 分布式计算框架Spark简述 | 第30页 |
2.4 基于分布式系统的Cube预计算技术 | 第30-32页 |
2.5 本章小结 | 第32-33页 |
第三章 海量数据适用的Cube预计算算法和优化策略研究 | 第33-51页 |
3.1 Cube预计算理论研究 | 第33-40页 |
3.1.1 维度灾难及其解决思路 | 第34-37页 |
3.1.2 Cube预计算方式选择 | 第37-38页 |
3.1.3 实现Cube的增量计算 | 第38-40页 |
3.1.4 应对多维数据模型的变化 | 第40页 |
3.2 新型MOLAP框架适用的分布式Cube预计算算法设计 | 第40-47页 |
3.2.1 算法需求分析 | 第40-41页 |
3.2.2 算法设计 | 第41-46页 |
3.2.3 算法先进性分析 | 第46-47页 |
3.3 基于查询业务需求的Cube优化策略设计 | 第47-50页 |
3.3.1 设定维度组 | 第47-48页 |
3.3.2 设定特殊维度 | 第48-50页 |
3.4 本章小结 | 第50-51页 |
第四章 面向海量数据的MOLAP框架的设计与实现 | 第51-76页 |
4.1 面向海量数据的新型OLAP框架简介 | 第51-54页 |
4.1.1 框架功能概要 | 第51-53页 |
4.1.2 框架总体架构和各模块简介 | 第53-54页 |
4.2 Cube存储模块的设计与实现 | 第54-59页 |
4.2.1 HBase中的Cube存储 | 第54-55页 |
4.2.2 维度值编码解码设计 | 第55-58页 |
4.2.3 使用bulkload进行HBase数据导入 | 第58-59页 |
4.3 Cube预计算模块的设计与实现 | 第59-64页 |
4.3.1 Cube预计算数据源 | 第59-60页 |
4.3.2 Cube预计算流程 | 第60页 |
4.3.3 整体逐层预计算算法在Spark上的具体实现 | 第60-61页 |
4.3.4 分块逐层预计算算法在Spark上的具体实现 | 第61-64页 |
4.3.5 预计算算法自动选择 | 第64页 |
4.4 基于Calcite的SQL查询引擎的设计与实现 | 第64-74页 |
4.4.1 Schema相关定义 | 第65-67页 |
4.4.2 自定义优化规则和物理算子 | 第67-69页 |
4.4.3 SQL语句解析查询过程 | 第69-70页 |
4.4.4 从HBase中获取查询数据 | 第70页 |
4.4.5 基于Calcite和Restful接口的JDBC驱动 | 第70-71页 |
4.4.6 基于Redis的查询缓存设计 | 第71-74页 |
4.5 查询分析交互展示模块的设计与实现 | 第74-75页 |
4.5.1 Superset简介 | 第74-75页 |
4.5.2 利用SQLAlchemy适配Superset | 第75页 |
4.6 本章小结 | 第75-76页 |
第五章 测试与评估 | 第76-88页 |
5.1 测试综述 | 第76-79页 |
5.1.1 基于TPC-H的SSB测试标准 | 第76-78页 |
5.1.2 实验环境 | 第78-79页 |
5.2 Cube预计算性能测试 | 第79-81页 |
5.2.1 Cube预计算测试内容 | 第79页 |
5.2.2 针对测试数据的Cube定义 | 第79-80页 |
5.2.3 Cube预计算测试结果及分析 | 第80-81页 |
5.3 SQL查询性能测试 | 第81-82页 |
5.3.1 SQL查询测试内容 | 第81页 |
5.3.2 SQL查询测试结果 | 第81-82页 |
5.4 框架总体使用测试 | 第82-86页 |
5.4.1 测试场景介绍 | 第82-83页 |
5.4.2 创建Cube测试 | 第83-84页 |
5.4.3 可视化OLAP操作测试 | 第84-86页 |
5.5 测试结果总结分析 | 第86-87页 |
5.6 本章小结 | 第87-88页 |
第六章 总结与展望 | 第88-91页 |
6.1 本文工作总结 | 第88-89页 |
6.2 存在的问题与不足 | 第89-90页 |
6.3 未来工作展望 | 第90-91页 |
致谢 | 第91-92页 |
参考文献 | 第92-96页 |