| 摘要 | 第4-5页 |
| ABSTRACT | 第5-6页 |
| 目录 | 第7-9页 |
| Contents | 第9-11页 |
| 第一章 绪论 | 第11-17页 |
| 1.1 课题的研究背景 | 第11-12页 |
| 1.2 国内外研究现状 | 第12-15页 |
| 1.2.1 通用搜索引擎发展现状 | 第12-13页 |
| 1.2.2 垂直搜索引擎发展现状 | 第13-15页 |
| 1.3 研究目的及意义 | 第15页 |
| 1.4 论文研究内容 | 第15-16页 |
| 1.5 本文的组织结构 | 第16-17页 |
| 第二章 主题爬虫概述 | 第17-27页 |
| 2.1 通用爬虫 | 第17-18页 |
| 2.2 主题爬虫 | 第18-20页 |
| 2.3 主题爬虫的体系结构 | 第20-24页 |
| 2.3.1 网页爬行 | 第20-22页 |
| 2.3.2 页面内容的分析 | 第22页 |
| 2.3.3 相关度评价器 | 第22-24页 |
| 2.3.4 主题表达器 | 第24页 |
| 2.4 主题页面的分布特征 | 第24-27页 |
| 2.4.1 Hub特性和Authority特性 | 第25页 |
| 2.4.2 主题关联特性 | 第25页 |
| 2.4.3 站点主题特性 | 第25-26页 |
| 2.4.4 隧道特性 | 第26-27页 |
| 第三章 主题爬行算法的理论基础 | 第27-39页 |
| 3.1 主题爬虫中的“主题”描述 | 第27页 |
| 3.2 常见的主题描述方法 | 第27-28页 |
| 3.3 页面主题相关算法研究 | 第28-32页 |
| 3.3.1 页面内容相关性判定 | 第28-30页 |
| 3.3.2 基于链接结构主题相关性判断 | 第30-32页 |
| 3.4 主题爬行算法研究 | 第32-39页 |
| 3.4.1 Best-First Search(BFS)算法 | 第33-34页 |
| 3.4.2 Fish Search算法 | 第34-36页 |
| 3.4.3 Shark Search算法 | 第36页 |
| 3.4.4 基于Web图的启发式算法 | 第36-39页 |
| 第四章 基于关键词动态扩充的主题爬虫 | 第39-50页 |
| 4.1 基于关键词动态扩充的主题爬行算法 | 第39-42页 |
| 4.1.1 基本主题库词典 | 第40页 |
| 4.1.2 基于位置的TF-IDF加权算法 | 第40-41页 |
| 4.1.3 动态扩充主题库算法流程 | 第41-42页 |
| 4.2 基于改进的Shark Search启发式算法设计 | 第42-49页 |
| 4.2.1 URL字符串的主题相关性判断 | 第46-47页 |
| 4.2.2 穿越Web中的隧道 | 第47-49页 |
| 4.3 主题爬虫系统算法流程 | 第49-50页 |
| 第五章 实验结果分析 | 第50-53页 |
| 5.1 实验评价指标 | 第50页 |
| 5.2 实验结果 | 第50-53页 |
| 结论 | 第53-54页 |
| 参考文献 | 第54-57页 |
| 攻读学位期间发表的论文 | 第57-59页 |
| 致谢 | 第59页 |