摘要 | 第4-6页 |
abstract | 第6-7页 |
第1章 绪论 | 第11-16页 |
1.1 研究背景和意义 | 第11-12页 |
1.2 相关领域研究现状 | 第12-14页 |
1.3 本文结构安排 | 第14-16页 |
第2章 爬虫概述 | 第16-25页 |
2.1 通用爬虫 | 第16-19页 |
2.1.1 通用爬虫体系结构 | 第16-18页 |
2.1.2 通用爬虫爬行策略 | 第18-19页 |
2.2 主题爬虫 | 第19-24页 |
2.2.1 主题爬虫体系结构 | 第19-20页 |
2.2.2 主题爬虫爬行策略 | 第20-23页 |
2.2.3 主题爬虫瓶颈分析 | 第23-24页 |
2.3 本章小结 | 第24-25页 |
第3章 基于Word2Vec的主题表示方法 | 第25-46页 |
3.1 主题表示 | 第25-31页 |
3.1.1 常见主题表示方法及不足 | 第25-26页 |
3.1.2 利用Word2Vec扩展关键词的方法 | 第26-29页 |
3.1.3 实验分析 | 第29-31页 |
3.2 主题相关度比较 | 第31-45页 |
3.2.1 关键词提取 | 第32-34页 |
3.2.2 相关度比较 | 第34-35页 |
3.2.3 基于Word2Vec的文本相关度比较模型 | 第35-38页 |
3.2.4 实验分析 | 第38-45页 |
3.3 本章小结 | 第45-46页 |
第4章 搜索策略分析与优化 | 第46-59页 |
4.1 Shark-Search搜索策略分析 | 第46-50页 |
4.2 隧道穿越问题 | 第50-53页 |
4.3 Shark-Search搜索策略优化 | 第53-55页 |
4.4 实验分析 | 第55-58页 |
4.4.1 评价标准 | 第55-56页 |
4.4.2 实验过程与结果分析 | 第56-58页 |
4.5 本章小结 | 第58-59页 |
第5章 系统设计与实现 | 第59-64页 |
5.1 主题爬虫系统设计与实现 | 第59-63页 |
5.1.1 种子配置模块 | 第60页 |
5.1.2 关键词模块 | 第60-61页 |
5.1.3 下载模块 | 第61页 |
5.1.4 解析模块 | 第61-62页 |
5.1.5 评分模块 | 第62页 |
5.1.6 存储模块 | 第62-63页 |
5.2 本章小结 | 第63-64页 |
第6章 总结与展望 | 第64-66页 |
6.1 论文工作总结 | 第64-65页 |
6.2 未来展望 | 第65-66页 |
参考文献 | 第66-70页 |
作者简介及在学期间取得的科研成果 | 第70-71页 |
致谢 | 第71页 |