主题搜索引擎网络爬虫的设计与实现
摘要 | 第1-6页 |
ABSTRACT | 第6-10页 |
第一章 绪论 | 第10-12页 |
·搜索引擎发展介绍与研究意义 | 第10-11页 |
·本文主要内容与组织结构 | 第11-12页 |
第二章 相关技术分析 | 第12-34页 |
·主题爬虫技术分析 | 第12-20页 |
·主题页面分布特征 | 第12-13页 |
·基于主题的页面信息采集分类 | 第13-14页 |
·主题爬虫搜索策略 | 第14-19页 |
·Heritrix介绍 | 第19-20页 |
·文本分类介绍 | 第20-24页 |
·基于PageRank算法的网页等级标识 | 第24-25页 |
·搜索引擎技术简介 | 第25-32页 |
·搜索引擎的简介与分类 | 第25-27页 |
·通用爬虫介绍 | 第27-29页 |
·索引器与检索器介绍 | 第29-32页 |
·小结 | 第32-34页 |
第三章 系统概要设计 | 第34-42页 |
·系统需求 | 第34页 |
·系统概要设计 | 第34-37页 |
·系统总体架构 | 第37-38页 |
·系统模块设计 | 第38-41页 |
·爬虫设计 | 第38-39页 |
·结构化数据提取设计 | 第39-40页 |
·文本分类引擎设计 | 第40-41页 |
·小结 | 第41-42页 |
第四章 系统实现与测试 | 第42-64页 |
·爬虫的详细设计思路 | 第42-43页 |
·爬虫详细设计与实现 | 第43-51页 |
·基于Heritrix的网络爬虫的配置和运行 | 第43-47页 |
·可配置的URL链接抽取组件 | 第47-49页 |
·结构化信息提取 | 第49-51页 |
·朴素贝叶斯 | 第51-57页 |
·结构化数据存储 | 第57-58页 |
·主题爬虫运行结果 | 第58-61页 |
·爬虫运行结果 | 第58-60页 |
·文本分类运行结果 | 第60-61页 |
·结果分析 | 第61-62页 |
·小结 | 第62-64页 |
第五章 总结 | 第64-68页 |
·工作总结 | 第64-65页 |
·不足与改进方法 | 第65-66页 |
·垂直搜索技术未来展望 | 第66-68页 |
致谢 | 第68-69页 |
参考文献 | 第69-70页 |