可定制的垂直搜索引擎研究与实现
| 致谢 | 第1-6页 |
| 摘要 | 第6-7页 |
| ABSTRACT | 第7-8页 |
| 序 | 第8-12页 |
| 1 引言 | 第12-16页 |
| ·搜索引擎及其发展现状及未来方向 | 第12-14页 |
| ·可定制的垂直搜索引擎简介 | 第14-15页 |
| ·本论文的主要工作 | 第15页 |
| ·本论文的内容组织结构 | 第15-16页 |
| 2 可定制的垂直搜索引擎相关工作综述 | 第16-25页 |
| ·通用搜索引擎架构介绍 | 第16-17页 |
| ·通用搜索引擎架构局限性 | 第17-19页 |
| ·可定制的垂直搜索引擎架构设计 | 第19-20页 |
| ·核心模块介绍 | 第20-24页 |
| ·网页抓取模块 | 第20-22页 |
| ·分词储存索引模块 | 第22-23页 |
| ·网页检索模块 | 第23页 |
| ·可定制模块 | 第23-24页 |
| ·本章小结 | 第24-25页 |
| 3 网页抓取模块的实现 | 第25-47页 |
| ·传统的网页抓取策略 | 第26-28页 |
| ·垂直搜索引擎网页抓取技术的研究意义 | 第28-29页 |
| ·垂直搜索的领域主题的描述 | 第29-30页 |
| ·网页抓取的设计与实现 | 第30-33页 |
| ·网页内容转换的设计与实现 | 第33-35页 |
| ·数据库的设计 | 第35-41页 |
| ·Link表结构设计 | 第35-36页 |
| ·主题关键词表结构设计 | 第36-37页 |
| ·任务信息表结构设计 | 第37-39页 |
| ·进程列表结构设计 | 第39页 |
| ·网络蜘蛛配置表结构设计 | 第39页 |
| ·黑名单表结构设计 | 第39-40页 |
| ·关于字符集 | 第40-41页 |
| ·实验与分析 | 第41-45页 |
| ·本章小结 | 第45-47页 |
| 4 分词储存索引模块的实现 | 第47-61页 |
| ·分词的实现 | 第47-51页 |
| ·中文分词技术 | 第47-48页 |
| ·海量智能分词技术应用 | 第48-49页 |
| ·海量智能分词表结构 | 第49-50页 |
| ·海量智能分词接口 | 第50-51页 |
| ·存储索引的实现 | 第51-60页 |
| ·基于B+树的文档索引结构图设计 | 第52-53页 |
| ·B+树中文档的加入与查询过程 | 第53-55页 |
| ·倒排索引 | 第55-56页 |
| ·与Lucene结合实现存储与索引 | 第56-60页 |
| ·本章小结 | 第60-61页 |
| 5 网页检索模块的实现 | 第61-71页 |
| ·对检索内容处理 | 第61页 |
| ·BFU排序算法对网页排序 | 第61-70页 |
| ·BFU排序中相关概念定义 | 第61-62页 |
| ·BFU排序研究背景 | 第62-63页 |
| ·领域排序的问题定义及函数形式 | 第63-65页 |
| ·领域排序收敛性证明 | 第65-66页 |
| ·领域内排序的问题定义及函数形式 | 第66-68页 |
| ·领域内排序收敛性证明 | 第68页 |
| ·BFU排序算法 | 第68-69页 |
| ·实验与分析 | 第69-70页 |
| ·本章小结 | 第70-71页 |
| 6 可定制模块的实现 | 第71-75页 |
| ·可定制功能研究进展 | 第71页 |
| ·可定制功能基本流程图 | 第71-73页 |
| ·实验与分析 | 第73-74页 |
| ·本章小结 | 第74-75页 |
| 7 总结和展望 | 第75-77页 |
| ·工作总结 | 第75-76页 |
| ·未来工作展望 | 第76-77页 |
| 参考文献 | 第77-79页 |
| 作者简历 | 第79-81页 |
| 学位论文数据集 | 第81页 |
