分布式网络爬虫技术的研究与实现
| 摘要 | 第1-5页 |
| Abstract | 第5-8页 |
| 第1章 绪论 | 第8-13页 |
| ·课题背景 | 第8-11页 |
| ·搜索引擎的分类和整体结构 | 第8-10页 |
| ·网络爬虫研究现状 | 第10-11页 |
| ·工作意义及论文工作 | 第11-13页 |
| 第2章 分布式网络爬虫基本构架 | 第13-23页 |
| ·设计目标 | 第13-14页 |
| ·分布式网络爬虫结构设计 | 第14-21页 |
| ·爬行节点的结构设计 | 第14-21页 |
| ·控制节点的结构设计 | 第21页 |
| ·本章小结 | 第21-23页 |
| 第3章 分布式网络爬虫的关键技术 | 第23-41页 |
| ·种子集合的选取 | 第23页 |
| ·分布式策略 | 第23-31页 |
| ·分配策略分类 | 第23-24页 |
| ·分配策略比较 | 第24-25页 |
| ·任务分配粒度大小的选择 | 第25-26页 |
| ·分配函数的选择 | 第26-29页 |
| ·作为网站下载的网络爬虫的任务分配实现 | 第29-31页 |
| ·多线程下载 | 第31-35页 |
| ·多线程介绍 | 第31-33页 |
| ·多线程带来的问题及解决方法 | 第33-35页 |
| ·网页分析 | 第35-38页 |
| ·HTML中的标记 | 第35-37页 |
| ·页面链接的提取 | 第37-38页 |
| ·网页更新 | 第38-40页 |
| ·本章小结 | 第40-41页 |
| 第4章 系统实现及实验评测 | 第41-51页 |
| ·系统实现 | 第41-46页 |
| ·分布式任务分配的实现 | 第42-44页 |
| ·单结点下载任务的实现 | 第44-46页 |
| ·系统评测 | 第46-51页 |
| ·普通爬行评测 | 第46-48页 |
| ·网站全站爬行评测 | 第48-50页 |
| ·本章小结 | 第50-51页 |
| 结论 | 第51-52页 |
| 参考文献 | 第52-55页 |
| 哈尔滨工业大学硕士学位论文原创性声明 | 第55页 |
| 哈尔滨工业大学硕士学位论文使用授权书 | 第55页 |
| 哈尔滨工业大学硕士学位涉密论文管理 | 第55-56页 |
| 致谢 | 第56页 |
