摘要 | 第6-8页 |
ABSTRACT | 第8-9页 |
第一章 绪论 | 第10-14页 |
1.1 论文研究的背景和意义 | 第10-11页 |
1.2 国内外研究现状 | 第11-12页 |
1.2.1 国外研究现状 | 第11-12页 |
1.2.2 国内研究现状 | 第12页 |
1.3 存在的问题 | 第12页 |
1.4 本文的工作 | 第12-13页 |
1.5 论文的结构 | 第13-14页 |
第二章 当前网络爬虫技术研究 | 第14-20页 |
2.1 网络爬虫概述 | 第14页 |
2.2 网络爬虫的基本流程 | 第14-15页 |
2.3 当前网络爬虫技术分类 | 第15-18页 |
2.3.1 原始网络爬虫 | 第15页 |
2.3.2 主题爬虫 | 第15-16页 |
2.3.3 定向爬虫 | 第16-17页 |
2.3.4 三种爬虫优缺点对比 | 第17-18页 |
2.4 正则表达式技术 | 第18页 |
2.5 XML路径语言XPath | 第18-19页 |
2.6 本章小结 | 第19-20页 |
第三章 基于Na(?)ve Bayes分类器的网页去噪方法研究 | 第20-23页 |
3.1 Na(?)ve Bayes分类器概述 | 第20-21页 |
3.1.1 Bayes算法 | 第20页 |
3.1.2 Na(?)ve Bayes算法 | 第20-21页 |
3.2 Na(?)ve Bayes分类器工作流程 | 第21-22页 |
3.3 Na(?)ve Bayes分类器在本系统中的应用 | 第22页 |
3.4 本章小结 | 第22-23页 |
第四章 系统需求分析 | 第23-26页 |
4.1 定向爬虫面临的主要困难 | 第23页 |
4.2 系统目标和解决的问题 | 第23-24页 |
4.3 系统需求概述 | 第24-25页 |
4.3.1 系统的功能性需求分析 | 第24-25页 |
4.3.2 系统的非功能性需求分析 | 第25页 |
4.4 本章小结 | 第25-26页 |
第五章 基于Na(?)ve Bayes算法的定向爬虫系统设计 | 第26-35页 |
5.1 系统设计目标 | 第26页 |
5.2 系统总体设计 | 第26-30页 |
5.2.1 技术架构设计 | 第26-27页 |
5.2.2 功能架构设计 | 第27-29页 |
5.2.3 具体流程设计 | 第29-30页 |
5.3 系统详细设计 | 第30-32页 |
5.3.1 系统登录模块 | 第30-31页 |
5.3.2 目标网址选择模块 | 第31页 |
5.3.3 数据采集模块 | 第31页 |
5.3.4 数据处理模块 | 第31-32页 |
5.4 数据库设计 | 第32-34页 |
5.4.1 创建数据库 | 第32页 |
5.4.2 数据库表的设计 | 第32-34页 |
5.5 本章小结 | 第34-35页 |
第六章 系统实现与测试 | 第35-44页 |
6.1 开发环境 | 第35-36页 |
6.2 系统主要模块的实现 | 第36-41页 |
6.2.1 二级种子的提取和处理 | 第36-37页 |
6.2.2 数据采集模块的实现 | 第37-39页 |
6.2.3 数据处理模块的实现 | 第39-40页 |
6.2.4 数据存储模块的实现 | 第40-41页 |
6.3 基于Naive Bayes算法的定向爬虫系统演示 | 第41-42页 |
6.4 系统测试 | 第42-43页 |
6.4.1 采集速度 | 第42页 |
6.4.2 采集性能 | 第42-43页 |
6.5 本章小结 | 第43-44页 |
第七章 总结与展望 | 第44-45页 |
7.1 全文总结 | 第44页 |
7.2 不足与展望 | 第44-45页 |
参考文献 | 第45-47页 |
致谢 | 第47页 |