基于元数据仓库的数据地图设计与实现
摘要 | 第4-5页 |
Abstract | 第5页 |
1 绪论 | 第8-12页 |
1.1 项目背景及意义 | 第8-9页 |
1.2 现状分析 | 第9-10页 |
1.3 本文的主要工作 | 第10页 |
1.4 本文的组织结构 | 第10-12页 |
2 相关技术介绍 | 第12-16页 |
2.1 Python语言 | 第12-13页 |
2.1.1 Flask | 第12页 |
2.1.2 ORM | 第12页 |
2.1.3 SQLAlchemy | 第12-13页 |
2.2 Elasticsearch | 第13页 |
2.3 数据仓库 | 第13-14页 |
2.3.1 ETL | 第13-14页 |
2.3.2 Hive | 第14页 |
2.4 React | 第14-15页 |
2.5 Flux | 第15-16页 |
3 需求分析 | 第16-21页 |
3.1 总体需求概述 | 第16-17页 |
3.2 系统功能点描述 | 第17-19页 |
3.3 用户分析 | 第19-20页 |
3.3.1 核心用户 | 第19-20页 |
3.3.2 覆盖用户 | 第20页 |
3.4 系统安全需求 | 第20-21页 |
4 元数据仓库设计 | 第21-35页 |
4.1 数据仓库设计 | 第21-24页 |
4.2 元数据介绍 | 第24-27页 |
4.2.1 表和字段信息 | 第24-26页 |
4.2.2 库信息 | 第26页 |
4.2.3 ETL任务及调度信息 | 第26-27页 |
4.3 元数据仓库的设计 | 第27-35页 |
4.3.1 数据流与ER关系 | 第27-29页 |
4.3.2 仓库分层设计 | 第29-30页 |
4.3.3 逻辑设计 | 第30-35页 |
5 系统设计 | 第35-47页 |
5.1 系统总体设计 | 第35-37页 |
5.1.1 系统架构设计 | 第35-36页 |
5.1.2 系统各模块设计 | 第36-37页 |
5.2 系统详细设计 | 第37-47页 |
5.2.1 系统各模块设计 | 第37-40页 |
5.2.2 权限控制 | 第40-41页 |
5.2.3 后端接口详细设计 | 第41-42页 |
5.2.4 ES搜索引擎 | 第42-43页 |
5.2.5 数据库设计 | 第43-47页 |
6 系统实现 | 第47-60页 |
6.1 元数据仓库的实现 | 第47-50页 |
6.2 Hive接入ES | 第50-51页 |
6.3 后端接口与页面实现 | 第51-60页 |
7 系统测试 | 第60-62页 |
7.1 测试方法及用例设计 | 第60-61页 |
7.2 测试结果分析 | 第61-62页 |
结论 | 第62-63页 |
参考文献 | 第63-65页 |
附录A 元数据仓库表结构设计 | 第65-68页 |
附录B 接口设计表 | 第68-75页 |
致谢 | 第75-76页 |