基于Hadoop的非结构化文本数据ETL系统设计与实现
| 摘要 | 第5-7页 |
| Abstract | 第7-8页 |
| 第一章 绪论 | 第11-19页 |
| 1.1 研究背景与意义 | 第11页 |
| 1.2 本课题的研究现状 | 第11-16页 |
| 1.2.1 ETL研究现状 | 第11-15页 |
| 1.2.2 Hadoop研究现状 | 第15-16页 |
| 1.3 研究目标和主要研究内容 | 第16-17页 |
| 1.3.1 研究目标 | 第16页 |
| 1.3.2 主要研究内容 | 第16-17页 |
| 1.4 论文的组织结构 | 第17-19页 |
| 第二章 系统相关技术研究 | 第19-29页 |
| 2.1 Apache Hadoop | 第19-24页 |
| 2.1.1 HDFS概述 | 第19页 |
| 2.1.2 HDFS体系结构 | 第19-20页 |
| 2.1.3 HDFS高可用性实现原理 | 第20-22页 |
| 2.1.4 MapReduce概述 | 第22页 |
| 2.1.5 Yarn体系结构 | 第22-23页 |
| 2.1.6 Yarn高可用性研究 | 第23-24页 |
| 2.2 Apache Oozie | 第24-26页 |
| 2.2.1 Oozie概述 | 第24-25页 |
| 2.2.2 Oozie高可用性解决方案 | 第25-26页 |
| 2.3 Apache Pig | 第26页 |
| 2.4 Tomcat高可用性研究 | 第26-27页 |
| 2.4.1 Nginx高可用 | 第26页 |
| 2.4.2 Tomcat高可用性解决方案 | 第26-27页 |
| 2.5 本章小结 | 第27-29页 |
| 第三章 ETL系统需求分析 | 第29-35页 |
| 3.1 ETL系统功能需求 | 第29-33页 |
| 3.1.1 工作流调度功能需求 | 第30页 |
| 3.1.2 工作流管理功能需求 | 第30-31页 |
| 3.1.3 工作流执行器功能需求 | 第31-32页 |
| 3.1.4 数据流执行器功能需求 | 第32-33页 |
| 3.2 ETL系统非功能需求分析 | 第33页 |
| 3.3 本章小结 | 第33-35页 |
| 第四章 ETL系统的设计与实现 | 第35-61页 |
| 4.1 系统总体架构设计 | 第35-42页 |
| 4.1.1 技术选型 | 第35-36页 |
| 4.1.2 系统架构原则 | 第36-37页 |
| 4.1.3 整体架构 | 第37-40页 |
| 4.1.4 系统高可用解决方案 | 第40-42页 |
| 4.1.5 安全解决方案 | 第42页 |
| 4.2 服务接口模块设计与实现 | 第42-45页 |
| 4.2.1 服务接口设计 | 第42-44页 |
| 4.2.2 服务接口具体实现 | 第44-45页 |
| 4.3 工作流调度模块设计与实现 | 第45-47页 |
| 4.3.1 工作流调度设计 | 第45-46页 |
| 4.3.2 工作流调度具体实现 | 第46-47页 |
| 4.4 工作流管理模块设计与实现 | 第47-49页 |
| 4.4.1 工作流管理模块设计 | 第47-48页 |
| 4.4.2 工作流管理模块具体实现 | 第48-49页 |
| 4.5 工作流执行器模块设计与实现 | 第49-53页 |
| 4.5.1 工作流执行器设计 | 第49-50页 |
| 4.5.2 工作流执行器具体实现 | 第50-53页 |
| 4.6 数据流执行器模块设计与实现 | 第53-56页 |
| 4.6.1 数据流执行器设计 | 第53-54页 |
| 4.6.2 数据流执行器具体实现 | 第54-56页 |
| 4.7 数据库设计 | 第56-59页 |
| 4.8 本章小结 | 第59-61页 |
| 第五章 系统的测试与分析 | 第61-69页 |
| 5.1 系统测试环境 | 第61-64页 |
| 5.1.1 硬件环境 | 第61-62页 |
| 5.1.2 软件环境 | 第62-63页 |
| 5.1.3 系统部署与配置 | 第63-64页 |
| 5.2 系统的测试与分析 | 第64-68页 |
| 5.2.1 ETL接口性能测试 | 第64-65页 |
| 5.2.2 ETL工作流测试 | 第65-68页 |
| 5.3 本章小结 | 第68-69页 |
| 第六章 结论与展望 | 第69-73页 |
| 6.1 主要结论 | 第69-70页 |
| 6.2 研究展望 | 第70-73页 |
| 参考文献 | 第73-75页 |
| 致谢 | 第75-77页 |
| 个人简历、在学期间发表的论文与研究成果 | 第77页 |
