基于任务的海量保险数据处理系统设计与实现
| 摘要 | 第5-6页 |
| Abstract | 第6页 |
| 第一章 引言 | 第11-16页 |
| 1.1 项目背景 | 第11页 |
| 1.2 海量数据处理系统的发展概况 | 第11-13页 |
| 1.3 本文主要研究的工作 | 第13-14页 |
| 1.4 本文的组织结构 | 第14-16页 |
| 第二章 技术综述 | 第16-21页 |
| 2.1 概述 | 第16页 |
| 2.2 Spring | 第16页 |
| 2.3 MyBatis | 第16-17页 |
| 2.4 odps | 第17-18页 |
| 2.5 HBase | 第18-20页 |
| 2.6 Oss | 第20页 |
| 2.7 本章小结 | 第20-21页 |
| 第三章 保险数据处理系统的分析与设计 | 第21-41页 |
| 3.1 项目整体概述 | 第21页 |
| 3.2 系统需求分析 | 第21-24页 |
| 3.2.1 系统用户角色 | 第21页 |
| 3.2.2 系统功能性需求 | 第21-23页 |
| 3.2.3 系统非功能性需求 | 第23-24页 |
| 3.3 系统总体设计与模块设计 | 第24-29页 |
| 3.3.1 系统总体设计 | 第24-27页 |
| 3.3.2 系统模块划分 | 第27-28页 |
| 3.3.3 数据处理流程图 | 第28-29页 |
| 3.4 数据读取模块详细设计 | 第29-31页 |
| 3.4.1 数据读取模块类图 | 第29-30页 |
| 3.4.2 任务数据库设计 | 第30-31页 |
| 3.5 数据处理模块详细设计 | 第31-34页 |
| 3.5.1 数据处理模块类图 | 第31-34页 |
| 3.6 数据压缩上传模块详细设计 | 第34-37页 |
| 3.6.1 数据压缩上传模块类图 | 第34-36页 |
| 3.6.2 数据压缩上传模块数据库设计 | 第36-37页 |
| 3.7 数据校验模块详细设计 | 第37-40页 |
| 3.7.1 数据校验模块要点 | 第37-40页 |
| 3.8 本章小结 | 第40-41页 |
| 第四章 保险数据处理系统的实现 | 第41-59页 |
| 4.1 数据读取模块的实现 | 第41-46页 |
| 4.1.1 HBase数据读取的实现 | 第41-44页 |
| 4.1.2 HBase查询效率的优化 | 第44-46页 |
| 4.2 数据处理策略模块的实现 | 第46-49页 |
| 4.2.1 数据处理总逻辑的实现 | 第46-47页 |
| 4.2.2 多处理策略的实现 | 第47-49页 |
| 4.3 压缩上传策略模块的实现 | 第49-54页 |
| 4.3.1 文件拆分策略 | 第49-50页 |
| 4.3.2 文件压缩策略 | 第50-52页 |
| 4.3.3 文件上传策略 | 第52-54页 |
| 4.4 数据校验模块的实现 | 第54-57页 |
| 4.4.1 任务失败重试机制 | 第54-56页 |
| 4.4.2 文件上传md5校验 | 第56-57页 |
| 4.5 本章小结 | 第57-59页 |
| 第五章 总结与展望 | 第59-61页 |
| 5.1 总结 | 第59页 |
| 5.2 进一步工作展望 | 第59-61页 |
| 参考文献 | 第61-63页 |
| 致谢 | 第63-65页 |
