搜索引擎系统网页消重的研究与实现
| 摘要 | 第1-10页 |
| ABSTRACT | 第10-12页 |
| 第1章 绪论 | 第12-17页 |
| ·研究的背景和现状 | 第12-15页 |
| ·研究的背景 | 第12页 |
| ·搜索引擎技术的现状 | 第12-14页 |
| ·目前搜索系统的缺陷和不足 | 第14页 |
| ·搜索引擎技术的发展趋势 | 第14-15页 |
| ·研究的动机和本文的工作 | 第15-17页 |
| 第2章 搜索引擎及其关键技术 | 第17-29页 |
| ·搜索引擎概述 | 第17-19页 |
| ·体系结构 | 第17-18页 |
| ·性能评价指标 | 第18-19页 |
| ·搜索系统关键技术分析 | 第19-22页 |
| ·采集器 | 第19-20页 |
| ·索引器 | 第20页 |
| ·排序器 | 第20-21页 |
| ·用户接口 | 第21-22页 |
| ·索引与检索 | 第22-25页 |
| ·倒排索引 | 第22-24页 |
| ·检索 | 第24-25页 |
| ·中文分词 | 第25-28页 |
| ·本章小结 | 第28-29页 |
| 第3章 基于特征串提取的服务器端网页消重算法 | 第29-45页 |
| ·重复网页的产生和消重的意义 | 第29页 |
| ·现有消重算法简介 | 第29-32页 |
| ·排除相同URL 的网页消重方法 | 第30页 |
| ·基于聚类的网页消重方法 | 第30-31页 |
| ·基于签名的方法 | 第31页 |
| ·基于特征码的方法 | 第31-32页 |
| ·改进的基于特征码的网页消重算法 | 第32-40页 |
| ·网页的重复特点 | 第32-33页 |
| ·特征码的提取 | 第33-35页 |
| ·基于特征码的网页消重算法 | 第35-38页 |
| ·实现步骤 | 第38-39页 |
| ·算法有效性分析 | 第39-40页 |
| ·服务器端消重的算法实现流程 | 第40-41页 |
| ·实验及分析 | 第41-44页 |
| ·本章小结 | 第44-45页 |
| 第4章 基于关键词上下文匹配的客户端网页消重算法 | 第45-58页 |
| ·搜索系统的客户端代理技术 | 第45-47页 |
| ·概述 | 第45-46页 |
| ·Agent 技术 | 第46页 |
| ·搜索系统客户端Agent | 第46-47页 |
| ·基于关键词上下文匹配的网页消重算法 | 第47-55页 |
| ·网页重复的特点 | 第47-48页 |
| ·基于关键词上下文匹配的网页消重算法设计 | 第48-54页 |
| ·算法优化 | 第54-55页 |
| ·实验及分析 | 第55-57页 |
| ·本章小结 | 第57-58页 |
| 第5章 搜索引擎系统的设计和实现 | 第58-75页 |
| ·基于JAVA 的全文检索引擎包——LUCENE | 第58-63页 |
| ·Lucene 简介 | 第58-59页 |
| ·Lucene 的包结构 | 第59-60页 |
| ·Lucene 的文档格式 | 第60-61页 |
| ·Lucene 数据流分析 | 第61-63页 |
| ·系统和模块设计 | 第63页 |
| ·搜索系统的实现 | 第63-71页 |
| ·建立索引过程 | 第64-66页 |
| ·Lucene 搜索 | 第66-68页 |
| ·Lucene 的分析器 | 第68-69页 |
| ·中文分词的实现 | 第69-70页 |
| ·对搜索结果的排序 | 第70-71页 |
| ·网页消重算法的实现 | 第71-74页 |
| ·基于特征串提取的网页消重算法的实现 | 第71-73页 |
| ·基于关键词上下文匹配的网页消重算法的实现 | 第73-74页 |
| ·本章小结 | 第74-75页 |
| 第6章 结论 | 第75-77页 |
| ·全文工作总结 | 第75页 |
| ·进一步的工作 | 第75-77页 |
| 参考文献 | 第77-81页 |
| 致谢 | 第81-82页 |
| 附录A 攻读学位期间所发表的学术论文目录 | 第82页 |
