水电企业大数据基础平台的设计与实现
| 摘要 | 第5-6页 |
| abstract | 第6-7页 |
| 第一章 绪论 | 第11-15页 |
| 1.1 课题背景及研究意义 | 第11页 |
| 1.1.1 选题背景 | 第11页 |
| 1.1.2 选题的意义 | 第11页 |
| 1.2 国内外研究现状 | 第11-13页 |
| 1.3 论文主要研究内容 | 第13-14页 |
| 1.4 论文组织结构 | 第14-15页 |
| 第二章 相关技术 | 第15-18页 |
| 2.1 ETL工具KETTLE | 第15页 |
| 2.2 大数据架构HADOOP | 第15页 |
| 2.3 分布式列式数据库HBASE | 第15-16页 |
| 2.4 流计算框架STORM | 第16页 |
| 2.5 分布式消息队列KAFKA | 第16页 |
| 2.6 内存数据库REDIS | 第16页 |
| 2.7 国产关系型数据库GBASE | 第16-17页 |
| 2.8 本章小结 | 第17-18页 |
| 第三章 系统需求分析 | 第18-25页 |
| 3.1 信息系统及数据现状 | 第18-21页 |
| 3.2 需求分析 | 第21-24页 |
| 3.2.1 总体需求分析 | 第21-22页 |
| 3.2.2 数据集成需求分析 | 第22-23页 |
| 3.2.3 数据存储需求分析 | 第23-24页 |
| 3.3 非功能性需求 | 第24页 |
| 3.3.1 性能需求 | 第24页 |
| 3.3.2 可靠性 | 第24页 |
| 3.3.3 可用性 | 第24页 |
| 3.3.4 开放性和可扩展性 | 第24页 |
| 3.4 本章小结 | 第24-25页 |
| 第四章 系统设计 | 第25-54页 |
| 4.1 设计目标及原则 | 第25页 |
| 4.1.1 设计目标 | 第25页 |
| 4.1.2 设计原则 | 第25页 |
| 4.2 系统总体框架设计 | 第25-26页 |
| 4.3 数据源层系统命名设计 | 第26-27页 |
| 4.4 数据集成层设计 | 第27-36页 |
| 4.4.1 结构化数据集成设计 | 第28-31页 |
| 4.4.2 非结构化数据集成设计 | 第31-34页 |
| 4.4.3 实时数据集成设计 | 第34-36页 |
| 4.5 数据存储层设计 | 第36-53页 |
| 4.5.1 数据仓库平台设计 | 第37-46页 |
| 4.5.2 分布式数据平台设计 | 第46-50页 |
| 4.5.3 流数据平台设计 | 第50-53页 |
| 4.6 本章小结 | 第53-54页 |
| 第五章 系统实现与测试 | 第54-88页 |
| 5.1 平台产品选型与部署 | 第54-55页 |
| 5.2 数据仓库平台实现 | 第55-58页 |
| 5.2.1 数据仓库结构 | 第55-56页 |
| 5.2.2 数据仓库配置 | 第56页 |
| 5.2.3 配置dbspace和chunk | 第56-58页 |
| 5.3 分布式数据平台和流数据平台实现 | 第58-62页 |
| 5.3.1 硬件规划 | 第58-59页 |
| 5.3.2 平台安装配置 | 第59-62页 |
| 5.4 结构化数据集成实现 | 第62-66页 |
| 5.5 ETL作业控制调度实现 | 第66-69页 |
| 5.6 非结构化数据采集 | 第69-77页 |
| 5.6.1 接口数据文件方式 | 第69-73页 |
| 5.6.2 接口调用方式 | 第73-77页 |
| 5.7 实时数据集成实现 | 第77-83页 |
| 5.8 系统测试 | 第83-87页 |
| 5.8.1 数据仓库平台测试 | 第83-84页 |
| 5.8.2 分布式数据平台测试 | 第84-85页 |
| 5.8.3 流数据平台测试 | 第85-86页 |
| 5.8.4 ETL作业调度测试 | 第86-87页 |
| 5.9 本章小结 | 第87-88页 |
| 第六章 全文总结与展望 | 第88-89页 |
| 6.1 本文所做的主要工作论文工作总结 | 第88页 |
| 6.2 进一步的展望 | 第88-89页 |
| 致谢 | 第89-90页 |
| 参考文献 | 第90-91页 |
