高并发异构数据预处理系统的设计与实现
| 致谢 | 第5-6页 |
| 摘要 | 第6-7页 |
| ABSTRACT | 第7-8页 |
| 1 引言 | 第12-16页 |
| 1.1 项目背景及意义 | 第12-13页 |
| 1.2 国内外发展现状 | 第13页 |
| 1.3 设计目标 | 第13-14页 |
| 1.4 论文主要工作 | 第14页 |
| 1.5 论文结构 | 第14-15页 |
| 1.6 本章小结 | 第15-16页 |
| 2 系统关键技术 | 第16-20页 |
| 2.1 Quartz | 第16页 |
| 2.2 MySQL | 第16-17页 |
| 2.3 MongoDB | 第17页 |
| 2.4 TRS Hybase | 第17页 |
| 2.5 Redis | 第17-18页 |
| 2.6 分布式文件系统 | 第18页 |
| 2.7 存储过程 | 第18-19页 |
| 2.8 本章小结 | 第19-20页 |
| 3 系统需求分析 | 第20-30页 |
| 3.1 专利数据整体说明 | 第20-22页 |
| 3.1.1 数据概况 | 第20页 |
| 3.1.2 专利数据结构体系 | 第20-22页 |
| 3.1.3 数据特点 | 第22页 |
| 3.2 系统功能性需求 | 第22-27页 |
| 3.2.1 数据加载与更新 | 第22-24页 |
| 3.2.2 数据质检 | 第24-25页 |
| 3.2.3 数据修复 | 第25-26页 |
| 3.2.4 数据监控 | 第26-27页 |
| 3.2.5 任务编排 | 第27页 |
| 3.3 系统非功能性需求 | 第27-29页 |
| 3.4 本章小结 | 第29-30页 |
| 4 系统概要设计 | 第30-38页 |
| 4.1 系统架构设计 | 第30-33页 |
| 4.1.1 高并发 | 第31页 |
| 4.1.2 异构数据库 | 第31-32页 |
| 4.1.3 数据库间的同步 | 第32-33页 |
| 4.2 应用部署架构设计 | 第33页 |
| 4.3 系统功能结构设计 | 第33-36页 |
| 4.3.1 数据加载与更新模块 | 第34-35页 |
| 4.3.2 数据质检模块 | 第35页 |
| 4.3.3 数据修复模块 | 第35页 |
| 4.3.4 数据监控模块 | 第35-36页 |
| 4.3.5 任务编排工具模块 | 第36页 |
| 4.4 数据加载流程设计 | 第36-37页 |
| 4.5 本章小结 | 第37-38页 |
| 5 数据详细设计 | 第38-56页 |
| 5.1 索引数据设计 | 第38-39页 |
| 5.2 数据流转过程设计 | 第39-40页 |
| 5.3 数据传输对象设计 | 第40-43页 |
| 5.4 数据库设计 | 第43-55页 |
| 5.4.1 MySQL数据库设计 | 第43-50页 |
| 5.4.2 MongoDB数据库库设计 | 第50-53页 |
| 5.4.3 Hybase数据库设计 | 第53-55页 |
| 5.4.4 分布式文件系统设计 | 第55页 |
| 5.5 本章小结 | 第55-56页 |
| 6 系统的详细设计与实现 | 第56-100页 |
| 6.1 数据加载与更新模块 | 第56-81页 |
| 6.1.1 核心类 | 第56-57页 |
| 6.1.2 加载控制文件 | 第57-60页 |
| 6.1.3 加载索引文件 | 第60-71页 |
| 6.1.4 同步数据 | 第71-81页 |
| 6.2 数据质检模块 | 第81-82页 |
| 6.2.1 异常 | 第81页 |
| 6.2.2 日志 | 第81页 |
| 6.2.3 统计分析集合 | 第81-82页 |
| 6.3 数据修复模块 | 第82-84页 |
| 6.3.1 数据值的错误 | 第82-83页 |
| 6.3.2 数据数量的错误 | 第83-84页 |
| 6.4 监控模块 | 第84-90页 |
| 6.4.1 pc监控模块 | 第84-88页 |
| 6.4.2 微信监控模块 | 第88-90页 |
| 6.5 任务编排工具模块 | 第90-93页 |
| 6.6 相关功能 | 第93-99页 |
| 6.6.1 存储过程 | 第94-95页 |
| 6.6.2 引证数据的加载 | 第95-97页 |
| 6.6.3 幂等性 | 第97页 |
| 6.6.4 断点恢复 | 第97-98页 |
| 6.6.5 Redis | 第98-99页 |
| 6.7 本章小结 | 第99-100页 |
| 7 测试 | 第100-108页 |
| 7.1 测试环境 | 第100页 |
| 7.2 功能测试 | 第100-106页 |
| 7.2.1 测试用例 | 第100-103页 |
| 7.2.2 数据加载的测试结果 | 第103-106页 |
| 7.3 非功能测试 | 第106-107页 |
| 7.4 本章小结 | 第107-108页 |
| 8 结论与展望 | 第108-110页 |
| 8.1 总结 | 第108-109页 |
| 8.2 展望 | 第109-110页 |
| 参考文献 | 第110-112页 |
| 作者简历及攻读硕士学位期间取得的研究成果 | 第112-114页 |
| 学位论文数据集 | 第114页 |
