| 摘要 | 第1-5页 |
| ABSTRACT | 第5-10页 |
| 第一章 绪论 | 第10-13页 |
| ·论文的背景 | 第10-11页 |
| ·发展现状 | 第11-12页 |
| ·论文的目的和意义 | 第12页 |
| ·论文的主要研究内容 | 第12-13页 |
| 第二章 网络爬虫技术 | 第13-21页 |
| ·网络爬虫的作用 | 第13-14页 |
| ·通用网络爬虫技术 | 第14-17页 |
| ·通用网络爬虫的基本结构 | 第14-16页 |
| ·通用网络爬虫的爬行策略 | 第16-17页 |
| ·聚焦网络爬虫技术 | 第17-20页 |
| ·聚焦网络爬虫的基本结构 | 第17-19页 |
| ·聚焦网络爬虫的爬行策略 | 第19-20页 |
| ·本章小结 | 第20-21页 |
| 第三章 基于链接过滤的网络爬虫 | 第21-36页 |
| ·传统中基于链接过滤的爬行算法 | 第21-22页 |
| ·PangRank 算法 | 第21页 |
| ·Authorities And Hub 算法 | 第21-22页 |
| ·传统算法的特点 | 第22页 |
| ·基于规则匹配的链接过滤算法 | 第22-35页 |
| ·网页链接特征 | 第22-23页 |
| ·单模式特征链接群体 | 第23页 |
| ·多模式特征链接群体 | 第23-24页 |
| ·基于链接特征的模式匹配算法 | 第24页 |
| ·单模式链接群: 基于链接特征的改进BM 算法 | 第24-29页 |
| ·BM 算法介绍 | 第24-26页 |
| ·基于链接特征的改进BM 算法 | 第26-27页 |
| ·实验及结果 | 第27-29页 |
| ·多模式链接群：Wu_Manbe194 算法在链接过滤中的应用 | 第29-35页 |
| ·Wu_Manbe194 算法 | 第30-33页 |
| ·实验及结果 | 第33-35页 |
| ·本章小结 | 第35-36页 |
| 第四章 基于内容过滤的网络爬虫 | 第36-50页 |
| ·基于网页内容特征的过滤算法 | 第36-42页 |
| ·网页内容特征选取 | 第36-37页 |
| ·基于决策树的网站类别辨识算法 | 第37-39页 |
| ·实验及结果 | 第39-42页 |
| ·基于向量空间模型的主题过滤算法 | 第42-44页 |
| ·基于标签权重的网页文本特征词选择算法 | 第42-44页 |
| ·向量空间模型构建及相似度计算 | 第44页 |
| ·基于分类器的主题类别过滤算法 | 第44-48页 |
| ·非结构化数据的分类过程 | 第45-46页 |
| ·基于朴素贝叶斯分类器的主题类别过滤算法 | 第46-47页 |
| ·实验及结果 | 第47-48页 |
| ·本章小节 | 第48-50页 |
| 第五章 过滤型网络爬虫系统设计 | 第50-64页 |
| ·系统总体设计 | 第50-53页 |
| ·系统总体工作流程图 | 第50-52页 |
| ·系统总体结构图 | 第52-53页 |
| ·系统主要模块及关键技术介绍 | 第53-62页 |
| ·HTTP 获取模块 | 第53-57页 |
| ·HTTP 协议分析 | 第53-56页 |
| ·HTTP 获取模块关键技术 | 第56-57页 |
| ·链接分析模块 | 第57-58页 |
| ·过滤引擎模块 | 第58-59页 |
| ·增量检测获取模块 | 第59-60页 |
| ·增量检测获取模块关键技术 | 第59-60页 |
| ·线程池工作模块 | 第60-62页 |
| ·系统运行结果 | 第62-63页 |
| ·本章小结 | 第63-64页 |
| 第六章 全文总结与展望 | 第64-65页 |
| ·全文总结 | 第64页 |
| ·不足与展望 | 第64-65页 |
| 参考文献 | 第65-68页 |
| 攻读硕士学位期间发表的学术论文 | 第68-69页 |
| 致谢 | 第69页 |