数据仓库之ETL并行调度研发
| 摘要 | 第4-5页 |
| Abstract | 第5-6页 |
| 第1章 引言 | 第10-13页 |
| 1.1 研究背景 | 第10页 |
| 1.2 研究现状 | 第10-11页 |
| 1.3 目的与意义 | 第11-12页 |
| 1.4 论文主要结构 | 第12-13页 |
| 第2章 数据仓库基础知识 | 第13-22页 |
| 2.1 数据仓库 | 第13页 |
| 2.2 ETL架构 | 第13-14页 |
| 2.3 ORACLE数据库 | 第14-15页 |
| 2.4 PL/SQL | 第15-22页 |
| 2.4.1 PL/SQL 集合 | 第15-16页 |
| 2.4.2 批量绑定 | 第16-17页 |
| 2.4.3 读写OS文件 | 第17-20页 |
| 2.4.4 作业调度 | 第20-22页 |
| 第3章 ETL工具分析 | 第22-28页 |
| 3.1 ETL的一般模型 | 第22页 |
| 3.2 数据仓库常用架构 | 第22-24页 |
| 3.2.1 ETL组件与数据仓库分不同服务器 | 第22-23页 |
| 3.2.2 ETL组件与数据仓库同一服务器 | 第23-24页 |
| 3.3 ETL作业调度描述 | 第24-28页 |
| 3.3.1 静态调度方式 | 第24-26页 |
| 3.3.2 动态调度方式 | 第26-28页 |
| 第4章 ETL新架构设计 | 第28-39页 |
| 4.1 整体架构 | 第28-29页 |
| 4.2 源数据获取 | 第29-32页 |
| 4.2.1 DBLink 方式 | 第29-31页 |
| 4.2.2 文件方式 | 第31-32页 |
| 4.3 ETL作业调度设计 | 第32-36页 |
| 4.3.1 调度的基本需求 | 第32-33页 |
| 4.3.2 调度主要组成 | 第33-36页 |
| 4.4 其他模块 | 第36-39页 |
| 第5章 ETL编码实现 | 第39-49页 |
| 5.1 编码规范 | 第39页 |
| 5.2 后台模型 | 第39-41页 |
| 5.3 主要表结构 | 第41-45页 |
| 5.3.1 ETL配置表 | 第41-44页 |
| 5.3.2 过程日志表 | 第44-45页 |
| 5.4 核心代码 | 第45-49页 |
| 5.4.1 pac_public | 第45-46页 |
| 5.4.2 pac_etl | 第46-48页 |
| 5.4.3 pac_demo | 第48-49页 |
| 第6章 ETL实践 | 第49-55页 |
| 6.1 ETL上线步骤 | 第49页 |
| 6.1.1 创建数据库用户 | 第49页 |
| 6.1.2 代码部署 | 第49页 |
| 6.2 参数配置说明 | 第49-54页 |
| 6.2.1 ETL接口参数配置 | 第49-50页 |
| 6.2.2 抽数配置 | 第50-51页 |
| 6.2.3 调度配置 | 第51-54页 |
| 6.3 运维常用事项 | 第54-55页 |
| 第7章 总结 | 第55-57页 |
| 7.1 性能总结 | 第55页 |
| 7.2 不足与展望 | 第55-57页 |
| 参考文献 | 第57-58页 |
| 作者简介 | 第58-59页 |
| 致谢 | 第59页 |
