基于爬虫进行域名发现分析的研究与实现
| 中文摘要 | 第4-5页 |
| abstract | 第5页 |
| 第一章 绪论 | 第9-12页 |
| 1.1 课题研究现状 | 第9页 |
| 1.2 课题研究的意义 | 第9-10页 |
| 1.3 课题工作及创新点 | 第10页 |
| 1.4 论文组织结构 | 第10-12页 |
| 第二章 网络爬虫技术综述 | 第12-21页 |
| 2.1 爬虫历史 | 第12页 |
| 2.2 爬虫基本原理 | 第12-13页 |
| 2.3 爬虫工具的选择 | 第13-15页 |
| 2.3.1 HtmlUnit概述 | 第13-14页 |
| 2.3.2 jsoup概述 | 第14-15页 |
| 2.4 分布式爬取 | 第15-16页 |
| 2.4.1 分布式技术概述 | 第15-16页 |
| 2.4.2 SSH概述 | 第16页 |
| 2.5 DNS解析 | 第16-17页 |
| 2.5.1 DNS的定义 | 第16-17页 |
| 2.5.2 DNS服务器类型说明 | 第17页 |
| 2.6 IP属地查询 | 第17-18页 |
| 2.7 服务器端口扫描 | 第18-21页 |
| 2.7.1 端口扫描概述 | 第18-19页 |
| 2.7.2 Nmap使用 | 第19-21页 |
| 第三章 爬虫检测系统的需求分析 | 第21-35页 |
| 3.1 域名的快速抓取 | 第21-29页 |
| 3.1.1 爬虫优先策略的选择 | 第21-24页 |
| 3.1.2 选择合理的分布式爬虫模式 | 第24-28页 |
| 3.1.3 分布式爬取的实现 | 第28-29页 |
| 3.2 域名IP地址的批量解析 | 第29-33页 |
| 3.2.1 DNS服务器的分类 | 第29-30页 |
| 3.2.2 DNS的域名查询方式 | 第30-32页 |
| 3.2.3 云DNS解析实现方案 | 第32-33页 |
| 3.3 IP归属地的准确定位 | 第33-35页 |
| 3.3.1 纯真IP数据库的实现原理 | 第33页 |
| 3.3.2 本地实现IP属地查询 | 第33-35页 |
| 第四章 爬虫检测系统的设计 | 第35-57页 |
| 4.1 整体架构设计方案 | 第35-38页 |
| 4.1.1 系统概述 | 第35页 |
| 4.1.2 整体设计思路 | 第35-37页 |
| 4.1.3 系统功能结构说明 | 第37页 |
| 4.1.4 系统首页展示 | 第37-38页 |
| 4.2 功能模块详细设计 | 第38-47页 |
| 4.2.1 搜索源设计 | 第38-40页 |
| 4.2.2 搜索策略设计 | 第40-42页 |
| 4.2.3 域名爬取设计 | 第42-45页 |
| 4.2.4 域名状态监测 | 第45-47页 |
| 4.3 存储设计方案 | 第47-56页 |
| 4.3.1 核心表设计及关联说明 | 第47-51页 |
| 4.3.2 数据存储估算 | 第51-52页 |
| 4.3.3 性能优化方案 | 第52-56页 |
| 4.4 开发环境介绍 | 第56-57页 |
| 第五章 爬虫检测系统的功能实现 | 第57-77页 |
| 5.1 搜索源管理 | 第57-58页 |
| 5.1.1 搜索源配置说明 | 第57页 |
| 5.1.2 搜索源回收机制 | 第57-58页 |
| 5.1.3 搜索源页面展示 | 第58页 |
| 5.2 搜索策略管理 | 第58-62页 |
| 5.2.1 任务策略管理的实现 | 第58-60页 |
| 5.2.2 搜索策略页面展示 | 第60-62页 |
| 5.3 域名信息爬取 | 第62-73页 |
| 5.3.1 域名抓取的实现 | 第62-64页 |
| 5.3.2 分布式爬取的实现 | 第64-67页 |
| 5.3.3 域名截取的实现 | 第67-68页 |
| 5.3.4 DNS云解析IP地址的实现 | 第68-70页 |
| 5.3.5 获取IP属地的实现 | 第70页 |
| 5.3.6 URL去重的实现 | 第70-71页 |
| 5.3.7 多线程处理的实现 | 第71-73页 |
| 5.4 信息查询管理 | 第73-77页 |
| 5.4.1 发现域名查询的实现 | 第73-74页 |
| 5.4.2 域名检测工具的实现 | 第74-75页 |
| 5.4.3 信息查询页面展示 | 第75-77页 |
| 第六章 总结与展望 | 第77-79页 |
| 6.1 总结 | 第77页 |
| 6.2 本课题的不足与今后提高的方向 | 第77-79页 |
| 参考文献 | 第79-82页 |
| 发表论文和参加科研情况说明 | 第82-83页 |
| 致谢 | 第83-84页 |
