垂直搜索引擎数据采集技术的研究与实现
| 摘要 | 第1页 |
| ABSTRACT | 第3-6页 |
| 第一章 引言 | 第6-9页 |
| ·选题背景及意义 | 第6-7页 |
| ·国内外研究现状 | 第7-8页 |
| ·本文的工作与创新 | 第8-9页 |
| 第二章 搜索引擎概述 | 第9-14页 |
| ·搜索引擎的分类 | 第9页 |
| ·通用搜索引擎 | 第9页 |
| ·目录搜索引擎 | 第9页 |
| ·元搜索引擎 | 第9页 |
| ·垂直搜索引擎 | 第9-12页 |
| ·垂直搜索引擎的出现 | 第9-10页 |
| ·垂直搜索引擎的特点 | 第10-11页 |
| ·面向主题的数据采集 | 第11-12页 |
| ·搜索引擎的工作原理 | 第12-14页 |
| 第三章 系统的总体设计 | 第14-18页 |
| ·搜索引擎的系统结构 | 第14-15页 |
| ·数据采集系统的系统结构 | 第15-16页 |
| ·信息获取器 | 第16页 |
| ·网页去重器 | 第16页 |
| ·URL 抽取器 | 第16页 |
| ·数据存储模块 | 第16页 |
| ·面临的主要问题及对策 | 第16-17页 |
| ·系统设计目标 | 第17-18页 |
| 第四章 系统搜索策略的研究 | 第18-28页 |
| ·基于内容评价的搜索策略 | 第18-21页 |
| ·Fish Search 算法 | 第18-19页 |
| ·Shark Search 算法 | 第19-21页 |
| ·基于链结构特征的搜索策略 | 第21-28页 |
| ·主题页面的分布特征 | 第22-24页 |
| ·PageRank 算法 | 第24-25页 |
| ·HITS 算法 | 第25-27页 |
| ·PageRank 与HITS 算法的比较 | 第27-28页 |
| 第五章 系统的设计与实现 | 第28-42页 |
| ·robot 协议处理 | 第28-29页 |
| ·链接处理模块 | 第29-34页 |
| ·超链接的抽取 | 第29-30页 |
| ·无效链接的过滤 | 第30页 |
| ·链接的评价与选择 | 第30-33页 |
| ·基于散列技术的去重策略 | 第33-34页 |
| ·页面处理模块 | 第34-39页 |
| ·页面的评价与过滤 | 第34-37页 |
| ·页面的去重策略 | 第37-38页 |
| ·页面的存储方式 | 第38页 |
| ·基于“链接比”概念的更新策略 | 第38-39页 |
| ·多线程技术的应用 | 第39-41页 |
| ·使用网络代理 | 第41-42页 |
| 第六章 实验结果与评价 | 第42-45页 |
| ·性能评价指标 | 第42页 |
| ·测试环境 | 第42-43页 |
| ·测试结果与评价 | 第43-45页 |
| 第七章 总结与展望 | 第45-47页 |
| 参考文献 | 第47-49页 |
| 致谢 | 第49-50页 |
| 在学期间发表的学术论文和参加科研情况 | 第50页 |
