| 摘要 | 第4-5页 |
| Abstract | 第5页 |
| 第1章 绪论 | 第8-14页 |
| 1.1 课题背景及研究的目的和意义 | 第8-9页 |
| 1.2 课题相关国内外研究状况 | 第9-12页 |
| 1.2.1 第三方支付 | 第9-10页 |
| 1.2.2 分布式爬虫技术 | 第10-11页 |
| 1.2.3 对象关系映射 | 第11-12页 |
| 1.2.4 规则引擎 | 第12页 |
| 1.3 本文的研究内容及论文结构 | 第12-14页 |
| 第2章 爬虫子系统需求分析 | 第14-28页 |
| 2.1 业务流程分析 | 第14-16页 |
| 2.1.1 商户风险监控系统整体结构 | 第14页 |
| 2.1.2 商户风险监控系统业务流程 | 第14-16页 |
| 2.1.3 爬虫子系统业务流程 | 第16页 |
| 2.2 爬虫子系统功能需求分析 | 第16-24页 |
| 2.2.1 商户基本信息同步 | 第17-19页 |
| 2.2.2 商户筛选策略配置管理 | 第19-20页 |
| 2.2.3 关键词管理 | 第20-22页 |
| 2.2.4 应用场景管理 | 第22页 |
| 2.2.5 爬虫应用建立 | 第22-24页 |
| 2.3 爬虫子系统非功能需求分析 | 第24-25页 |
| 2.4 爬虫子系统关键技术 | 第25-27页 |
| 2.5 本章小结 | 第27-28页 |
| 第3章 爬虫子系统概要设计 | 第28-48页 |
| 3.1 爬虫子系统功能设计 | 第28-37页 |
| 3.1.1 商户基本信息同步 | 第29-30页 |
| 3.1.2 商户筛选策略配置管理 | 第30-31页 |
| 3.1.3 关键词配置管理 | 第31-35页 |
| 3.1.4 应用场景管理 | 第35页 |
| 3.1.5 爬虫应用建立 | 第35-37页 |
| 3.2 基于 HASH 的负载均衡设计 | 第37-40页 |
| 3.2.1 负载均衡问题的描述 | 第38页 |
| 3.2.2 负载均衡的设计 | 第38-40页 |
| 3.3 基于 BLOOMFILTER 的 URL 去重设计 | 第40-42页 |
| 3.3.1 URL 去重问题描述 | 第40-41页 |
| 3.3.2 URL 去重方法设计 | 第41-42页 |
| 3.4 爬虫子系统架构设计 | 第42-45页 |
| 3.4.1 爬虫子系统物理架构 | 第42-43页 |
| 3.4.2 爬虫子系统软件架构 | 第43-45页 |
| 3.5 爬虫子系统数据库设计 | 第45-47页 |
| 3.6 本章小结 | 第47-48页 |
| 第4章 爬虫子系统详细设计与实现 | 第48-68页 |
| 4.1 爬虫子系统的详细设计与实现 | 第48-62页 |
| 4.1.1 商户基本信息同步 | 第48-51页 |
| 4.1.2 商户筛选策略配置管理 | 第51-52页 |
| 4.1.3 关键词配置管理 | 第52-55页 |
| 4.1.4 应用场景管理 | 第55页 |
| 4.1.5 爬虫应用建立 | 第55-62页 |
| 4.2 基于 HASH 的负载均衡详细设计与实现 | 第62-64页 |
| 4.3 基于 BLOOMFILTER 的 URL 去重详细设计与实现 | 第64-67页 |
| 4.4 本章小结 | 第67-68页 |
| 第5章 爬虫子系统测试 | 第68-82页 |
| 5.1 爬虫子系统运行效果 | 第68-74页 |
| 5.2 爬虫子系统功能测试 | 第74-80页 |
| 5.2.1 测试用例数据 | 第75-76页 |
| 5.2.2 测试输出数据及分析 | 第76-80页 |
| 5.3 爬虫子系统接口性能测试 | 第80-81页 |
| 5.4 本章小结 | 第81-82页 |
| 结论 | 第82-83页 |
| 参考文献 | 第83-87页 |
| 致谢 | 第87-88页 |
| 个人简历 | 第88页 |