摘要 | 第1-7页 |
Abstract | 第7-10页 |
第1章 绪论 | 第10-15页 |
·研究背景 | 第10页 |
·搜索引擎的发展历史 | 第10-11页 |
·垂直搜索引擎的特点 | 第11-12页 |
·垂直搜索引擎国内外研究现状 | 第12-13页 |
·论文主要研究内容 | 第13-14页 |
·论文章节安排 | 第14-15页 |
第2章 相关理论与Heritrix技术剖析 | 第15-22页 |
·垂直搜索引擎工作原理 | 第15-16页 |
·Heritrix系统架构 | 第16-19页 |
·Heritrix项目简介 | 第16页 |
·Heritrix系统结构 | 第16-19页 |
·Heritrix的扩展与改进 | 第19-21页 |
·设计解析特定网站的解析器Extractor | 第19页 |
·扩展FrontierScheduler来抓取特定内容 | 第19页 |
·消除robots.txt对个别Processor的影响 | 第19-20页 |
·扩展Queue-assignment-policy实现多线程抓取 | 第20-21页 |
·本章小结 | 第21-22页 |
第3章 全文检索引擎Lucene剖析 | 第22-30页 |
·Lucene概述 | 第22-24页 |
·Lucene项目简介 | 第22页 |
·Lucene系统结构 | 第22-24页 |
·Lucene索引技术 | 第24-26页 |
·Lucene倒排索引技术 | 第24-25页 |
·Lucene索引结构 | 第25-26页 |
·Lucene排序技术 | 第26-29页 |
·传统检索排序技术 | 第26页 |
·Lucene基础排序算法 | 第26-27页 |
·排序算法的改进 | 第27-29页 |
·本章小结 | 第29-30页 |
第4章 垂直搜索引擎的设计与实现 | 第30-56页 |
·用户的一般要求 | 第30页 |
·垂直搜索引擎总体系统架构 | 第30-32页 |
·爬虫子系统的设计与实现 | 第32-37页 |
·网络爬虫Heritrix的改进与扩展 | 第32-37页 |
·解析子系统的设计与实现 | 第37-43页 |
·索引子系统的设计与实现 | 第43-48页 |
·确定数据库结构和索引结构 | 第44页 |
·对索引进行操作 | 第44-45页 |
·建立词库 | 第45-48页 |
·查询子系统的设计与实现 | 第48-55页 |
·查询子系统的设计 | 第48-53页 |
·改进排序算法的实现 | 第53-55页 |
·本章小结 | 第55-56页 |
第5章 系统测试 | 第56-64页 |
·垂直搜素引擎相对通用搜索引擎的直观优势 | 第56-58页 |
·爬虫测试 | 第58-61页 |
·爬虫测试1 | 第58-59页 |
·爬虫测试2 | 第59-61页 |
·排序算法改进前后的排序结果分析 | 第61-63页 |
·本章小结 | 第63-64页 |
总结与展望 | 第64-65页 |
致谢 | 第65-66页 |
参考文献 | 第66-70页 |
附录1 | 第70-76页 |
附录2 | 第76-78页 |
附录3 | 第78-79页 |
附录4 | 第79-84页 |
附录5 | 第84-86页 |
附录6 | 第86-91页 |
攻读硕士学位期间发表的论文 | 第91-92页 |