基于Hadoop的数据仓库引擎的设计与实现
| 致谢 | 第5-6页 |
| 摘要 | 第6-7页 |
| ABSTRACT | 第7页 |
| 1 引言 | 第11-16页 |
| 1.1 项目背景 | 第11-12页 |
| 1.2 项目的意义与目的 | 第12页 |
| 1.3 相关系统调研与分析 | 第12-14页 |
| 1.3.1 HIVE | 第12-13页 |
| 1.3.2 HADOOPDB | 第13-14页 |
| 1.4 论文主要工作 | 第14页 |
| 1.5 论文组织结构 | 第14-15页 |
| 1.6 本章小结 | 第15-16页 |
| 2 关键技术分析 | 第16-29页 |
| 2.1 数据仓库 | 第16-20页 |
| 2.1.1 定义 | 第16-17页 |
| 2.1.2 典型架构 | 第17-18页 |
| 2.1.3 建模方法 | 第18-20页 |
| 2.2 并行数据库 | 第20-26页 |
| 2.2.1 概念 | 第20-21页 |
| 2.2.2 架构 | 第21-22页 |
| 2.2.3 数据分区策略 | 第22-23页 |
| 2.2.4 并行关系运算 | 第23-26页 |
| 2.3 HADOOP | 第26-28页 |
| 2.3.1 HADOOP介绍 | 第26-27页 |
| 2.3.2 HDFS架构 | 第27-28页 |
| 2.3.3 HDFS文件读写 | 第28页 |
| 2.4 本章小结 | 第28-29页 |
| 3 系统架构设计 | 第29-36页 |
| 3.1 架构概览 | 第29-30页 |
| 3.1.1 部署方式 | 第30页 |
| 3.1.2 对外接口 | 第30页 |
| 3.2 元数据服务 | 第30-31页 |
| 3.3 数据分区 | 第31-33页 |
| 3.3.1 数据分布策略 | 第31-32页 |
| 3.3.2 分区表 | 第32-33页 |
| 3.4 查询处理流程 | 第33-34页 |
| 3.5 与HDFS的交互 | 第34-35页 |
| 3.6 本章小结 | 第35-36页 |
| 4 查询处理与事务支持 | 第36-52页 |
| 4.1 简介 | 第36-38页 |
| 4.1.1 并行查询处理主要模块 | 第37-38页 |
| 4.2 元数据下发 | 第38-39页 |
| 4.3 扩展的迭代器模型 | 第39-46页 |
| 4.3.1 迭代器模型概述 | 第39-42页 |
| 4.3.2 数据交换节点 | 第42-44页 |
| 4.3.3 执行计划切分 | 第44-46页 |
| 4.4 并行查询执行 | 第46-49页 |
| 4.4.1 本地JOIN | 第46-47页 |
| 4.4.2 重分区JOIN | 第47-48页 |
| 4.4.3 广播JOIN | 第48-49页 |
| 4.5 事务支持 | 第49-51页 |
| 4.5.1 隔离级别 | 第49页 |
| 4.5.2 锁 | 第49-50页 |
| 4.5.3 并发INSERT | 第50页 |
| 4.5.4 HDFS TRUNCATE操作 | 第50-51页 |
| 4.6 本章小结 | 第51-52页 |
| 5 列式存储 | 第52-75页 |
| 5.1 HADOOP对数据存储格式的要求 | 第52-53页 |
| 5.2 传统数据库系统存储格式分析 | 第53-56页 |
| 5.2.1 行存储(ROW-STORE) | 第53页 |
| 5.2.2 列存储(COLUMN-STORE) | 第53-54页 |
| 5.2.3 混合存储(HYBRID-STORE) | 第54-56页 |
| 5.2.4 对比分析 | 第56页 |
| 5.3 HADOOP列式存储格式比较 | 第56-65页 |
| 5.3.1 RCFILE | 第56-58页 |
| 5.3.2 ORC | 第58-60页 |
| 5.3.3 PARQUET | 第60-65页 |
| 5.3.4 对比分析 | 第65页 |
| 5.4 本系统对PARQUET格式的实现 | 第65-74页 |
| 5.4.1 编码技术 | 第66-69页 |
| 5.4.2 写入流程 | 第69-70页 |
| 5.4.3 读取流程 | 第70-72页 |
| 5.4.4 动态分区写入优化 | 第72-74页 |
| 5.5 本章小结 | 第74-75页 |
| 6 性能评估 | 第75-83页 |
| 6.1 测试方法 | 第75-76页 |
| 6.1.1 测试环境 | 第75页 |
| 6.1.2 测试对象 | 第75-76页 |
| 6.2 总体执行时间 | 第76-77页 |
| 6.3 具体查询比较 | 第77-80页 |
| 6.3.1 简单选择查询 | 第77-80页 |
| 6.3.2 复杂连接查询 | 第80页 |
| 6.4 数据分布策略比较 | 第80-81页 |
| 6.5 不同压缩算法比较 | 第81-82页 |
| 6.6 本章小结 | 第82-83页 |
| 7 总结 | 第83-84页 |
| 参考文献 | 第84-86页 |
| 作者简历及攻读硕士/博士学位期间取得的研究成果 | 第86-88页 |
| 学位论文数据集 | 第88页 |
