垂直搜索引擎中主题网络爬虫算法的设计与研究
| 摘要 | 第4-5页 |
| ABSTRACT | 第5-6页 |
| 第一章 绪论 | 第13-18页 |
| 1.1 研究背景和意义 | 第13-14页 |
| 1.2 国内外研究现状 | 第14-16页 |
| 1.2.1 通用网络爬虫的研究现状 | 第14-15页 |
| 1.2.2 主题网络爬虫的研究现状 | 第15-16页 |
| 1.3 研究内容及组织结构及创新点 | 第16-18页 |
| 第二章 搜索引擎中的网络爬虫 | 第18-28页 |
| 2.1 搜索引擎简介 | 第18-21页 |
| 2.1.1 搜索引擎的发展史 | 第18页 |
| 2.1.2 搜索引擎的类别 | 第18-19页 |
| 2.1.3 搜索引擎的工作原理 | 第19-21页 |
| 2.2 网络爬虫的体系结构和搜索策略 | 第21-26页 |
| 2.2.1 通用网络爬虫的体系结构 | 第21-23页 |
| 2.2.2 通用网络爬虫的搜索策略 | 第23-24页 |
| 2.2.3 主题网络爬虫的体系结构 | 第24-26页 |
| 2.2.4 主题网络爬虫的搜索策略 | 第26页 |
| 2.3 通用网络爬虫与主题网络爬虫的区别 | 第26-27页 |
| 2.4 本章小结 | 第27-28页 |
| 第三章 主题网络爬虫的关键技术 | 第28-49页 |
| 3.1 网页内容处理 | 第28-33页 |
| 3.1.1 HTML网页结构 | 第28-29页 |
| 3.1.2 网页内容提取 | 第29-31页 |
| 3.1.3 文本分词 | 第31-32页 |
| 3.1.4 特征向量项的权重计算 | 第32-33页 |
| 3.2 页面消重技术 | 第33-40页 |
| 3.2.1 URL去重 | 第33-36页 |
| 3.2.2 改进的URL去重算法 | 第36-39页 |
| 3.2.3 内容去重 | 第39-40页 |
| 3.3 主题相关性判别算法 | 第40-44页 |
| 3.3.1 向量空间模型判定算法 | 第40-41页 |
| 3.3.2 向量空间模型算法的优点和缺点 | 第41-42页 |
| 3.3.3 朴素贝叶斯分类算法 | 第42-44页 |
| 3.3.4 朴素贝叶斯分类算法的优缺点 | 第44页 |
| 3.4 基于链接评价的搜索算法 | 第44-48页 |
| 3.4.1 PageRank算法 | 第44-46页 |
| 3.4.2 HITS算法 | 第46-47页 |
| 3.4.3 PageRank和HITS的比较 | 第47-48页 |
| 3.5 本章小结 | 第48-49页 |
| 第四章 基于一种混合爬行算法的研究 | 第49-61页 |
| 4.1 杜威十进分类法 | 第49-50页 |
| 4.2 主题候选链接特征文本的提取 | 第50-51页 |
| 4.3 构建朴素贝叶斯文本分类器 | 第51-53页 |
| 4.4 首次抓取算法 | 第53-55页 |
| 4.5 二次抓取算法 | 第55-60页 |
| 4.5.1 主题相关预测算法的研究 | 第55-58页 |
| 4.5.2 爬虫算法的研究 | 第58-60页 |
| 4.6 本章小结 | 第60-61页 |
| 第五章 实验结果与分析 | 第61-66页 |
| 5.1 评价方法 | 第61页 |
| 5.2 实验环境 | 第61-62页 |
| 5.3 实验分析 | 第62-65页 |
| 5.4 本章小结 | 第65-66页 |
| 总结与展望 | 第66-68页 |
| 参考文献 | 第68-72页 |
| 攻读硕士期间发表的学术论文和科研成果 | 第72-74页 |
| 致谢 | 第74页 |
