“天眼查”分布式爬虫系统中验证码识别模块的设计与实现
| 致谢 | 第5-6页 |
| 摘要 | 第6-7页 |
| ABSTRACT | 第7-8页 |
| 1 引言 | 第12-16页 |
| 1.1 论文背景 | 第12-13页 |
| 1.2 验证码识别应用现状 | 第13页 |
| 1.3 项目目标 | 第13页 |
| 1.4 项目意义 | 第13-14页 |
| 1.5 论文主要工作及组织结构 | 第14-16页 |
| 2 相关理论和技术 | 第16-25页 |
| 2.1 相关理论 | 第16-19页 |
| 2.1.1 深度学习 | 第16-17页 |
| 2.1.2 后向传播算法 | 第17页 |
| 2.1.3 验证码图片预处理 | 第17页 |
| 2.1.4 验证码字符分割方法 | 第17页 |
| 2.1.5 深度神经网络 | 第17-18页 |
| 2.1.6 卷积神经网络 | 第18-19页 |
| 2.1.7 主题式网络爬虫 | 第19页 |
| 2.2 相关技术 | 第19-24页 |
| 2.2.1 Caffe框架 | 第19-21页 |
| 2.2.2 Python相关模块 | 第21-22页 |
| 2.2.3 Nginx | 第22页 |
| 2.2.4 FastCGI | 第22-23页 |
| 2.2.5 Java Spring框架 | 第23页 |
| 2.2.6 Redis | 第23-24页 |
| 2.3 本章小结 | 第24-25页 |
| 3 系统需求分析 | 第25-35页 |
| 3.1 需求分析综述 | 第25-26页 |
| 3.2 功能性需求分析 | 第26-33页 |
| 3.2.1 爬虫应用子系统重构 | 第26-29页 |
| 3.2.2 验证码训练功能 | 第29-31页 |
| 3.2.3 验证码识别功能 | 第31-33页 |
| 3.3 用户特征需求分析 | 第33页 |
| 3.4 非功能性需求 | 第33-34页 |
| 3.5 本章小结 | 第34-35页 |
| 4 系统概要设计 | 第35-43页 |
| 4.1 系统技术架构设计 | 第35-36页 |
| 4.2 验证码训练子系统 | 第36-38页 |
| 4.2.1 设计目标 | 第36-37页 |
| 4.2.2 总体功能结构 | 第37页 |
| 4.2.3 数据存取设计 | 第37-38页 |
| 4.3 验证码识别服务子系统概要设计 | 第38-40页 |
| 4.3.1 设计目标 | 第38页 |
| 4.3.2 总体功能结构 | 第38-39页 |
| 4.3.3 数据存取设计 | 第39-40页 |
| 4.4 爬虫应用子系统重构的概要设计 | 第40-42页 |
| 4.4.1 设计目标 | 第40页 |
| 4.4.2 总体功能结构 | 第40-41页 |
| 4.4.3 数据存储设计 | 第41-42页 |
| 4.5 本章小结 | 第42-43页 |
| 5 系统功能详细设计与实现 | 第43-54页 |
| 5.1 验证码训练子系统 | 第43-50页 |
| 5.2 验证码识别服务子系统 | 第50-51页 |
| 5.3 爬虫应用子系统重构 | 第51-53页 |
| 5.4 本章小结 | 第53-54页 |
| 6 系统实现中关键问题 | 第54-59页 |
| 6.1 验证码训练子系统 | 第54-57页 |
| 6.1.1 部署环境问题 | 第54-55页 |
| 6.1.2 绘制神经网络结构图错误 | 第55页 |
| 6.1.3 在采集、标注样本库时训练失败 | 第55页 |
| 6.1.4 部署至验证码训练子系统时的问题 | 第55-56页 |
| 6.1.5 训练识别率低于可接受的值 | 第56页 |
| 6.1.6 训练速率过慢 | 第56-57页 |
| 6.2 验证码识别服务子系统 | 第57-58页 |
| 6.2.1 验证码识别请求中图片格式的错误 | 第57页 |
| 6.2.2 验证码识别服务部署上传时出现错误 | 第57-58页 |
| 6.2.3 识别服务的调试问题 | 第58页 |
| 6.3 爬虫应用子系统 | 第58页 |
| 6.4 本章小结 | 第58-59页 |
| 7 系统测试 | 第59-65页 |
| 7.1 验证码训练子系统测试 | 第59-62页 |
| 7.1.1 功能测试 | 第59-60页 |
| 7.1.2 识别模型的准确率测试 | 第60-62页 |
| 7.1.3 识别模型的所需训练量测试 | 第62页 |
| 7.2 验证码识别服务子系统测试 | 第62-63页 |
| 7.2.1 功能测试 | 第62-63页 |
| 7.2.2 服务器负载及请求有效性测试 | 第63页 |
| 7.3 爬虫应用子系统中测试及效果 | 第63-64页 |
| 7.4 本章小结 | 第64-65页 |
| 8 结论 | 第65-67页 |
| 8.1 全文总结 | 第65页 |
| 8.2 不足与展望 | 第65-67页 |
| 参考文献 | 第67-69页 |
| 作者简历及攻读硕士学位期间取得的研究成果 | 第69-71页 |
| 学位论文数据集 | 第71页 |
