基于分布式系统的海量日志数据库优化技术研究
| 摘要 | 第4-5页 |
| ABSTRACT | 第5-6页 |
| 第一章 绪论 | 第9-13页 |
| 1.1 引言 | 第9页 |
| 1.2 国内外研究现状 | 第9-11页 |
| 1.3 研究方向及意义 | 第11-12页 |
| 1.4 论文组织结构 | 第12-13页 |
| 第二章 相关技术研究 | 第13-29页 |
| 2.1 大数据存储和处理的常用平台 | 第13-21页 |
| 2.1.1 Hadoop | 第13-15页 |
| 2.1.2 HIVE | 第15-19页 |
| 2.1.3 HDFS | 第19-21页 |
| 2.2 数据布局 | 第21-27页 |
| 2.2.1 行布局 | 第22-23页 |
| 2.2.2 列布局 | 第23-24页 |
| 2.2.3 行列混合布局 | 第24-27页 |
| 2.3 本章小结 | 第27-29页 |
| 第三章 原有系统和数据集分析 | 第29-39页 |
| 3.1 概述 | 第29-30页 |
| 3.2 工作负载分析 | 第30-33页 |
| 3.2.1 常用表结构分析 | 第30-32页 |
| 3.2.2 工作负载 | 第32-33页 |
| 3.3 原系统存在的问题 | 第33-37页 |
| 3.3.1 表间冗余 | 第33-35页 |
| 3.3.2 表内冗余 | 第35-36页 |
| 3.3.3 跨平台冗余 | 第36-37页 |
| 3.4 本章总结 | 第37-39页 |
| 第四章 设计与实现 | 第39-49页 |
| 4.1 概要 | 第39页 |
| 4.2 单一物理表:表间冗余优化 | 第39-40页 |
| 4.3 列编码:表内优化 | 第40-41页 |
| 4.4 ORCFILE:跨平台优化 | 第41-42页 |
| 4.5 分区 | 第42-44页 |
| 4.6 数据载入 | 第44-46页 |
| 4.7 本章小结 | 第46-49页 |
| 第五章 查询代价模型 | 第49-59页 |
| 5.1 数据布局代价模型 | 第49-55页 |
| 5.1.1 行布局代价模型 | 第50-52页 |
| 5.1.2 列布局代价模型 | 第52-54页 |
| 5.1.3 行列混合布局代价模型 | 第54-55页 |
| 5.2 压缩选择代价模型 | 第55-58页 |
| 5.2.1 代价模型 | 第55-56页 |
| 5.2.2 实验结果 | 第56-58页 |
| 5.3 本章小结 | 第58-59页 |
| 第六章 实验评估 | 第59-69页 |
| 6.1 实验装置 | 第59页 |
| 6.2 实验结果 | 第59-67页 |
| 6.2.1 存储效率 | 第60-63页 |
| 6.2.2 查询执行效率 | 第63-66页 |
| 6.2.3 数据加载效率 | 第66-67页 |
| 6.3 总结 | 第67-69页 |
| 第七章 总结和展望 | 第69-71页 |
| 参考文献 | 第71-75页 |
| 致谢 | 第75-77页 |
| 作者攻读学位期间发表的学术论文目录 | 第77页 |
