| 致谢 | 第5-6页 |
| 摘要 | 第6-7页 |
| ABSTRACT | 第7-8页 |
| 1 绪论 | 第12-20页 |
| 1.1 课题背景与意义 | 第12-13页 |
| 1.2 国内外现状分析 | 第13-16页 |
| 1.2.1 国外发展现状 | 第13-14页 |
| 1.2.2 国内发展现状 | 第14-16页 |
| 1.3 研究目标与内容 | 第16-18页 |
| 1.3.1 研究目标 | 第16-17页 |
| 1.3.2 研究内容 | 第17-18页 |
| 1.4 论文章节安排 | 第18-19页 |
| 1.5 本章小结 | 第19-20页 |
| 2 系统需求分析 | 第20-32页 |
| 2.1 系统需求分析概述 | 第20-21页 |
| 2.2 业务需求分析 | 第21-24页 |
| 2.3 功能需求分析 | 第24-30页 |
| 2.3.1 采集多种数据类型功能需求 | 第24-26页 |
| 2.3.2 一键部署处理组件功能需求 | 第26-27页 |
| 2.3.3 便捷配置采集组件功能需求 | 第27-29页 |
| 2.3.4 可视化采集工作流功能需求 | 第29-30页 |
| 2.3.5 监控采集流程功能需求 | 第30页 |
| 2.4 非功能性需求分析 | 第30-31页 |
| 2.5 本章小结 | 第31-32页 |
| 3 系统总体设计 | 第32-46页 |
| 3.1 系统总体设计概述 | 第32页 |
| 3.2 系统模块设计 | 第32-33页 |
| 3.3 系统网络拓扑结构设计 | 第33-34页 |
| 3.4 系统架构设计 | 第34-36页 |
| 3.5 技术选型 | 第36-37页 |
| 3.6 数据库设计 | 第37-42页 |
| 3.6.1 实体关系 | 第37-38页 |
| 3.6.2 数据库表设计 | 第38-42页 |
| 3.7 关键技术方案 | 第42-45页 |
| 3.8 本章小结 | 第45-46页 |
| 4 系统详细设计与实现 | 第46-90页 |
| 4.1 扩展FLUME模块详细设计与实现 | 第46-64页 |
| 4.1.1 自定义关系型数据库采集 | 第46-51页 |
| 4.1.2 自定义本地文件、hdfs、ftp、sftp采集 | 第51-56页 |
| 4.1.3 自定义hbase数据采集 | 第56-60页 |
| 4.1.4 自定义kafka采集 | 第60-64页 |
| 4.2 处理组件部署模块详细设计与实现 | 第64-72页 |
| 4.2.1 配置flume集群的信息 | 第65-67页 |
| 4.2.2 部署flume集群 | 第67-70页 |
| 4.2.3 实现成果展示 | 第70-72页 |
| 4.3 配置采集组件模块详细设计与实现 | 第72-78页 |
| 4.3.1 源组件配置 | 第72-74页 |
| 4.3.2 处理组件配置 | 第74页 |
| 4.3.3 终端组件配置 | 第74-75页 |
| 4.3.4 具体实现设计 | 第75-77页 |
| 4.3.5 实现成果展示 | 第77-78页 |
| 4.4 采集工作流模块详细设计与实现 | 第78-85页 |
| 4.4.1 flume工作流的设计 | 第78-81页 |
| 4.4.2 storm工作流的设计 | 第81-83页 |
| 4.4.3 实现成果展示 | 第83-85页 |
| 4.5 采集监控模块详细设计与实现 | 第85-89页 |
| 4.5.1 监控方案选择 | 第85页 |
| 4.5.2 具体实现设计 | 第85-87页 |
| 4.5.3 实现成果展示 | 第87-89页 |
| 4.6 本章小结 | 第89-90页 |
| 5 系统评估与验证 | 第90-100页 |
| 5.1 系统测试环境 | 第90-91页 |
| 5.1.1 硬件测试环境 | 第90页 |
| 5.1.2 软件测试环境 | 第90-91页 |
| 5.2 系统功能测试 | 第91-97页 |
| 5.2.1 处理组件部署测试 | 第91-92页 |
| 5.2.2 配置采集组件测试 | 第92-94页 |
| 5.2.3 采集工作流测试 | 第94-96页 |
| 5.2.4 采集监控测试 | 第96-97页 |
| 5.3 系统可用性测试 | 第97-99页 |
| 5.4 测试结论 | 第99页 |
| 5.5 本章小结 | 第99-100页 |
| 6 总结与展望 | 第100-102页 |
| 6.1 总结 | 第100页 |
| 6.2 展望 | 第100-102页 |
| 参考文献 | 第102-104页 |
| 作者简历及攻读硕士学位期间取得的研究成果 | 第104-108页 |
| 学位论文数据集 | 第108页 |