基于可扩展哈希算法的并行爬虫动态负载均衡实现
| 摘要 | 第1-6页 |
| Abstract | 第6-10页 |
| 第1章 绪论 | 第10-16页 |
| ·课题研究背景与意义 | 第10-12页 |
| ·研究背景 | 第10-11页 |
| ·研究意义 | 第11-12页 |
| ·国内外相关研究和综述 | 第12-14页 |
| ·负载均衡的实现机制 | 第12页 |
| ·负载均衡的任务分割 | 第12-13页 |
| ·负载均衡的实现技术 | 第13-14页 |
| ·本文研究内容 | 第14-15页 |
| ·本文的结构安排 | 第15-16页 |
| 第2章 并行爬虫系统的相关技术 | 第16-24页 |
| ·引言 | 第16页 |
| ·集群系统 | 第16-17页 |
| ·任务调度 | 第17-19页 |
| ·网络爬虫 | 第19-23页 |
| ·网络爬虫设计概述 | 第19-20页 |
| ·网络爬虫的性能优化 | 第20-23页 |
| ·本章小结 | 第23-24页 |
| 第3章 并行爬虫静态负载分配策略 | 第24-39页 |
| ·引言 | 第24页 |
| ·影响负载分配策略的因素 | 第24-26页 |
| ·负载平衡 | 第24页 |
| ·划分粒度 | 第24-25页 |
| ·通讯开销 | 第25页 |
| ·鲁棒性与可扩展性 | 第25-26页 |
| ·逻辑二级节点映射法 | 第26-28页 |
| ·可扩展哈希算法及其改进 | 第28-38页 |
| ·可扩展哈希算法简介 | 第29-31页 |
| ·可扩展哈希算法的改进算法 | 第31-35页 |
| ·算法对比实验 | 第35-38页 |
| ·本章小结 | 第38-39页 |
| 第4章 并行爬虫动态负载调度策略 | 第39-53页 |
| ·引言 | 第39页 |
| ·动态负载平衡算法的权衡因素 | 第39-41页 |
| ·负载当量的计算 | 第41-42页 |
| ·动态负载调整问题建模 | 第42-48页 |
| ·超图多级重划分策略 | 第48-49页 |
| ·对比实验及结果分析 | 第49-52页 |
| ·实验环境 | 第50页 |
| ·实验结果及分析 | 第50-52页 |
| ·本章小结 | 第52-53页 |
| 第5章 并行爬虫系统设计与实现 | 第53-61页 |
| ·并行爬虫的体系结构设计 | 第53-55页 |
| ·并行爬虫系统模块功能设计与实现 | 第55-60页 |
| ·爬行模块 | 第55-56页 |
| ·存储模块 | 第56-58页 |
| ·负载均衡模块 | 第58-60页 |
| ·本章小结 | 第60-61页 |
| 结论 | 第61-63页 |
| 参考文献 | 第63-68页 |
| 致谢 | 第68页 |
