| 目录 | 第1-5页 |
| 摘要 | 第5-6页 |
| Abstract | 第6-7页 |
| 第1章 前言 | 第7-12页 |
| 1．1 专业搜索引擎Robot的设计研究背景 | 第7-9页 |
| 1．1．1 搜索器Robot与网络资源搜索 | 第7-8页 |
| 1．1．2 专业搜索引擎Robot的研究现状 | 第8页 |
| 1．1．3 专业搜索引擎Robot设计面临的主要问题 | 第8-9页 |
| 1．2 本文的主要工作 | 第9-10页 |
| 1．2．1 研究思路 | 第9页 |
| 1．2．2 主要研究内容 | 第9-10页 |
| 1．2．3 研究成果与创新之处 | 第10页 |
| 1．3 本文的组织结构 | 第10-12页 |
| 第2章 分布式Robot的体系结构设计 | 第12-27页 |
| 2．1 专业搜索引擎的体系结构分析 | 第12-14页 |
| 2．1．1 搜索引擎的基本结构 | 第12-13页 |
| 2．1．2 专业搜索引擎的系统结构 | 第13-14页 |
| 2．2 专业搜索引擎分布式Robot体系结构设计需求分析 | 第14-15页 |
| 2．2．1 网络带宽和系统负载对Robot分布式结构的设计要求 | 第14页 |
| 2．2．2 专业资源的分布状况对搜索器分布式体系结构的设计要求 | 第14-15页 |
| 2．3 分布式Robot系统结构模型 | 第15-16页 |
| 2．3．1 Robot系统模块与数据流分析 | 第15-16页 |
| 2．3．2 分布式Robot的系统结构模型 | 第16页 |
| 2．4 分布式Robot系统各个模块分析 | 第16-20页 |
| 2．4．1 资源采集模块 | 第16-18页 |
| 2．4．2 控制模块 | 第18-19页 |
| 2．4．3 管理中心模块 | 第19页 |
| 2．4．4 URL中心数据库 | 第19-20页 |
| 2．4．5 采集策略模块 | 第20页 |
| 2．5 分布式Robot各模块的协同运行方式 | 第20-22页 |
| 2．5．1 控制模块“注册——运行”方式分析 | 第20-21页 |
| 2．5．2 资源采集模块“注册——运行”方式分析 | 第21-22页 |
| 2．6 Robot系统分布式运行的问题和解决策略 | 第22-27页 |
| 2．6．1 分布式Robot资源重复采集原因分析 | 第22-23页 |
| 2．6．2 通过设置URL采集状态、采集模式的方法解决资源重复采集的问题 | 第23-24页 |
| 2．6．3 分布式Robot的动态采集范围的划分策略 | 第24-27页 |
| 第3章 资源采集策略的设计 | 第27-35页 |
| 3．1 搜索引擎的搜索策略与链接价值评价 | 第27-28页 |
| 3．1．1 通用搜索引擎的搜索目标和常用策略 | 第27-28页 |
| 3．1．2 专业搜索引擎的搜索目标和与链接价值的评估 | 第28页 |
| 3．2 Web结构分析与挖掘技术比较 | 第28-30页 |
| 3．2．1 Web结构分析 | 第29页 |
| 3．2．2 Web结构挖掘技术比较 | 第29-30页 |
| 3．3 基于PageRank的综合链接价值评价策略 | 第30-32页 |
| 3．3．1 链接价值结构性评价算法的确定。 | 第30-31页 |
| 3．3．2 综合链接价值评价策略的设计 | 第31-32页 |
| 3．4 以综合链接价值评价算法为基础的资源采集策略设计 | 第32-35页 |
| 3．4．1 有限度的选择次优价值链接获取可能的未来回报 | 第32-33页 |
| 3．4．2 关注领域中各个子方向资源的搜索情况避免陷入部分主题搜索的陷阱 | 第33页 |
| 3．4．3 关注用户检索内容，为用户检索提供更好更新的资源； | 第33-35页 |
| 第4章 资源更新策略的设计 | 第35-40页 |
| 4．1 网络资源更新情况分析 | 第35-36页 |
| 4．1．1 网络资源变化数据分析 | 第35-36页 |
| 4．1．2 网络资源更新的特点 | 第36页 |
| 4．2 搜索引擎系统页面更新的策略设计 | 第36-40页 |
| 4．2．1 搜索引擎系统页面更新策略比较 | 第36-37页 |
| 4．2．2 可变周期的本地网络资源更新策略设计 | 第37-40页 |
| 第5章：分布式Robot的系统实现 | 第40-49页 |
| 5．1 分布式Robot的系统构架实现 | 第40-45页 |
| 5．1．1 基于C／S模式为基础的注册服务和连接控制服务的实现 | 第40-41页 |
| 5．1．2 资源采集模块URL调度与资源采集的多线程并发实现在 | 第41-45页 |
| 5．2 系统数据流的格式和数据流的传递方式 | 第45-47页 |
| 5．2．1 注册数据流的数据格式与数据传递 | 第45-47页 |
| 5．2．2 采集控制流的数据格式与数据传递 | 第47页 |
| 5．3 数据库的设计实现 | 第47-49页 |
| 5．3．1 数据库各个表的设计 | 第48页 |
| 5．3．2 数据库存储过程的设计 | 第48-49页 |
| 第6章 结束语 | 第49-50页 |
| 6．1 本文总结 | 第49页 |
| 6．2 进一步研究工作 | 第49-50页 |
| 致谢 | 第50-51页 |
| 参考文献 | 第51-53页 |
| 附录1 数据库相关表结构 | 第53-55页 |
| 附录2 数据库相关存储过程： | 第55-59页 |
