基于WEB信息采集的分布式网络爬虫搜索引擎的研究
| 提要 | 第1-7页 |
| 第1章 绪 论 | 第7-9页 |
| ·课题背景及意义 | 第7页 |
| ·本文主要工作内容 | 第7-8页 |
| ·论文组织结构 | 第8-9页 |
| 第2章 分布式网络爬虫相关知识 | 第9-15页 |
| ·搜索引擎相关知识 | 第9-13页 |
| ·搜索引擎基本工作原理 | 第9-10页 |
| ·集中式爬虫工作方式 | 第10-11页 |
| ·分布式爬虫的工作方式 | 第11-12页 |
| ·分布式系统的优缺点 | 第12-13页 |
| ·分布式网络爬虫研究现状 | 第13-14页 |
| ·本章小结 | 第14-15页 |
| 第3章 系统功能分析与结构设计 | 第15-23页 |
| ·分布式网络爬虫的设计要求 | 第15-16页 |
| ·分布式网络爬虫的几种拓扑结构 | 第16-19页 |
| ·中心化拓扑结构 | 第16-17页 |
| ·全分布式非结构化拓扑结构 | 第17页 |
| ·半分布式拓扑结构 | 第17-18页 |
| ·全分布式结构化拓扑结构 | 第18-19页 |
| ·系统的基本结构设计 | 第19-22页 |
| ·总体结构设计 | 第19-20页 |
| ·爬行节点结构设计 | 第20-22页 |
| ·控制节点结构设计 | 第22页 |
| ·本章小结 | 第22-23页 |
| 第4章 系统的任务分配模块的设计与实现 | 第23-31页 |
| ·分配策略分类 | 第23-24页 |
| ·动态任务分配策略具体算法 | 第24-27页 |
| ·动态哈希函数应满足的条件 | 第24-25页 |
| ·实现动态分配的两种算法 | 第25-26页 |
| ·进一步分析二级哈希映射算法 | 第26-27页 |
| ·任务分配粒度的选择 | 第27-30页 |
| ·任务分配粒度的种类 | 第27-28页 |
| ·站点中心词提取策略 | 第28-30页 |
| ·本章小结 | 第30-31页 |
| 第5章 系统的通信模块的设计与实现 | 第31-42页 |
| ·节点间消息通信模块设计 | 第31-38页 |
| ·消息协议的设计目标 | 第31页 |
| ·消息种类与格式 | 第31-32页 |
| ·消息所对应的系统动作 | 第32-38页 |
| ·节点间 URL 传输模块设计 | 第38-41页 |
| ·URL 传输方法的选择 | 第38-39页 |
| ·阻塞套接字与非阻塞套接字 | 第39-41页 |
| ·本章小结 | 第41-42页 |
| 第6章 论文总结与展望 | 第42-43页 |
| ·工作总结 | 第42页 |
| ·进一步的工作 | 第42-43页 |
| 参考文献 | 第43-44页 |
| 致谢 | 第44-45页 |
| 摘要 | 第45-47页 |
| ABSTRACT | 第47-49页 |
