基于垂直搜索引擎的主题爬虫算法的研究
| 摘要 | 第1-5页 |
| ABSTRACT | 第5-8页 |
| 1 绪言 | 第8-12页 |
| ·研究的背景和意义 | 第8-9页 |
| ·课题的研究背景 | 第8-9页 |
| ·研究的目的和意义 | 第9页 |
| ·国内外研究现状及水平 | 第9-10页 |
| ·本论文的主要工作和创新 | 第10-11页 |
| ·本文的结构 | 第11-12页 |
| 2 垂直搜索引擎研究综述 | 第12-19页 |
| ·垂直搜索引擎 | 第12-13页 |
| ·垂直搜索引擎架构 | 第13-15页 |
| ·垂直搜索引擎技术 | 第15-18页 |
| ·本章小结 | 第18-19页 |
| 3 主题爬虫简介 | 第19-29页 |
| ·通用爬虫模型 | 第19-21页 |
| ·通用爬虫基本原理 | 第19页 |
| ·通用爬虫体系结构 | 第19-20页 |
| ·爬行方法与选择策略 | 第20-21页 |
| ·主题爬虫模型 | 第21-24页 |
| ·主题爬虫基本原理 | 第21页 |
| ·主题爬虫体系结构 | 第21-22页 |
| ·主题爬虫工作流程 | 第22-24页 |
| ·开源项目的选择 | 第24-28页 |
| ·Heritrix架构研究 | 第24-26页 |
| ·Lucene研究 | 第26-28页 |
| ·本章小结 | 第28-29页 |
| 4 基于规则的软主题爬虫算法 | 第29-51页 |
| ·主题页面在Web上的分布特征 | 第29-30页 |
| ·隧道技术 | 第30-31页 |
| ·主题爬虫算法关键点 | 第31-37页 |
| ·页面主题相关性分析可选方案研究对比 | 第31-34页 |
| ·Web超链结构重要性分析可选方案研究对比 | 第34-37页 |
| ·基于规则的软主题爬行方法 | 第37-41页 |
| ·软主题爬行方法 | 第37-38页 |
| ·类间链接转移规则爬行方法 | 第38-41页 |
| ·基于规则的软主题爬虫具体实现 | 第41-50页 |
| ·类间链接转移规则学习阶段 | 第42页 |
| ·分类器实现阶段 | 第42-44页 |
| ·主题爬虫算法具体描述 | 第44-50页 |
| ·本章小结 | 第50-51页 |
| 5 实验测试和性能分析 | 第51-57页 |
| ·评价指标 | 第51页 |
| ·页面主题相关性实验 | 第51-53页 |
| ·收获率对比实验 | 第53-57页 |
| 6 总结和未来发展展望 | 第57-59页 |
| 参考文献 | 第59-65页 |
| 攻读学位期间的主要学术成果 | 第65-66页 |
| 致谢 | 第66页 |
