| 摘要 | 第4-5页 |
| Abstract | 第5-6页 |
| 1 绪论 | 第9-15页 |
| 1.1 研究背景与意义 | 第9-10页 |
| 1.2 国内外研究概况 | 第10-13页 |
| 1.3 论文的主要研究内容 | 第13-15页 |
| 2 HiveonSpark动态分区剪枝优化分析 | 第15-26页 |
| 2.1 优化前问题分析 | 第15-18页 |
| 2.2 优化后执行逻辑分析 | 第18-20页 |
| 2.3 HiveonSpark动态分区剪枝的优化指标 | 第20-21页 |
| 2.4 HiveonSpark的技术基础 | 第21-25页 |
| 2.5 本章小结 | 第25-26页 |
| 3 HiveonSpark动态分区剪枝优化的设计 | 第26-47页 |
| 3.1 总体设计概述 | 第26-28页 |
| 3.2 动态分区剪枝控制参数的设置 | 第28-29页 |
| 3.3 分析SQL语句生成新的谓词 | 第29-33页 |
| 3.4 增添读取分区信息的逻辑计划分支 | 第33-35页 |
| 3.5 判断分区数量是否达到最大值 | 第35-37页 |
| 3.6 分割逻辑计划树 | 第37-40页 |
| 3.7 读取分区信息后写入HDFS文件 | 第40-42页 |
| 3.8 生成执行分区剪枝的SparkTask | 第42-45页 |
| 3.9 动态分区剪枝的执行过程 | 第45-46页 |
| 3.10 本章小结 | 第46-47页 |
| 4 动态分区剪枝优化的实现与测试结果 | 第47-59页 |
| 4.1 HiveonSpark环境配置 | 第47-48页 |
| 4.2 HiveonSpark动态分区剪枝优化的实现 | 第48-50页 |
| 4.3 Shuffle数据传输量测试结果 | 第50-52页 |
| 4.4 TPC-DS运行时间测试结果 | 第52-58页 |
| 4.5 本章小结 | 第58-59页 |
| 5 总结与展望 | 第59-61页 |
| 5.1 全文总结 | 第59页 |
| 5.2 后继工作 | 第59-61页 |
| 致谢 | 第61-62页 |
| 参考文献 | 第62-66页 |