| 第一章 前言 | 第1-12页 |
| ·引言 | 第8页 |
| ·有关主题CRAWLER的论文小结 | 第8-10页 |
| ·本论文的主要内容和结构 | 第10-12页 |
| 第二章 搜索引擎的结构 | 第12-14页 |
| ·系统概述 | 第12页 |
| ·搜索引擎的构成 | 第12-13页 |
| ·网络机器人 | 第12-13页 |
| ·索引与搜索 | 第13页 |
| ·Web服务器 | 第13页 |
| ·搜索引擎的主要指标及分析 | 第13页 |
| ·小结 | 第13-14页 |
| 第三章 网络机器人 | 第14-38页 |
| ·什么是网络机器人 | 第14页 |
| ·网络机器人的结构分析 | 第14页 |
| ·对JEFFHEATON的BOT的分析 | 第14-23页 |
| ·HTML的解析 | 第14-15页 |
| ·Spider程序结构 | 第15-17页 |
| ·Spider程序的构造 | 第17-19页 |
| ·Spider采用的提高程序性能的技术 | 第19-20页 |
| ·网络机器人的代码分析 | 第20-23页 |
| ·对SPIDER的改进 | 第23-30页 |
| ·优先级队列 | 第23页 |
| ·HTML解析的改进 | 第23-27页 |
| ·通用的输入输出接口 | 第27-28页 |
| ·中文分词 | 第28-29页 |
| ·crawler算法 | 第29-30页 |
| ·CRAWLER的评价 | 第30-32页 |
| ·页重要性 | 第31页 |
| ·总结分析 | 第31-32页 |
| ·网页更新 | 第32-37页 |
| ·网页更新的提出 | 第32-33页 |
| ·网页更新的基本概念 | 第33-34页 |
| ·重要性(popularity) | 第33页 |
| ·时新性(freshness) | 第33-34页 |
| ·年龄(age) | 第34页 |
| ·Web页面更新的基本策略 | 第34-35页 |
| ·分类更新策略提出的背景 | 第34页 |
| ·分类更新策略的基本思想 | 第34-35页 |
| ·分类算法的改进算法 | 第35-37页 |
| ·结合重要性与时新性的算法 | 第35-37页 |
| ·改进算法的小结 | 第37页 |
| ·小结 | 第37-38页 |
| 第四章 基于LUCENE的索引与搜索 | 第38-45页 |
| ·什么是LUCENE全文检索 | 第38页 |
| ·LUCENE的原理分析 | 第38-41页 |
| ·全文检索的实现机制 | 第38-39页 |
| ·Lucene的索引效率 | 第39-40页 |
| ·中文切分词机制 | 第40-41页 |
| ·LUCENE与SPIDER的结合 | 第41-44页 |
| ·小结 | 第44-45页 |
| 第五章 基于TOMCAT的WEB服务器 | 第45-50页 |
| ·什么是基于TOMCAT的WEB服务器 | 第45页 |
| ·用户接口设计 | 第45-48页 |
| ·客户端设计 | 第45-46页 |
| ·服务端设计 | 第46-48页 |
| ·在TOMCAT上部署项目 | 第48-49页 |
| ·小结 | 第49-50页 |
| 总结 | 第50-52页 |
| 附录1SWING HTML解析器能够识别75个HTML标签的清单 | 第52-54页 |
| 附录2SWING HTML解析器能够识别的80个HTML属性清单 | 第54-56页 |
| 参考文献 | 第56-58页 |
| 致谢 | 第58页 |