面向多任务、多通道并行爬虫的技术研究
| 摘要 | 第1-4页 |
| Abstract | 第4-9页 |
| 第1章 绪论 | 第9-16页 |
| ·课题研究的背景和意义 | 第9-11页 |
| ·课题研究的背景 | 第9-11页 |
| ·课题简介 | 第11页 |
| ·课题研究的意义 | 第11页 |
| ·本文的主要研究内容 | 第11-14页 |
| ·多任务管理和分配 | 第12页 |
| ·多通道技术的运用 | 第12页 |
| ·网站划分 | 第12-13页 |
| ·爬虫间负载均衡和爬虫加入退出处理 | 第13页 |
| ·资源处理 | 第13-14页 |
| ·国内外研究现状 | 第14-15页 |
| ·爬虫理论研究 | 第14页 |
| ·爬虫技术与实现 | 第14-15页 |
| ·论文结构安排 | 第15-16页 |
| 第2章 网站划分策略 | 第16-26页 |
| ·问题描述 | 第16-17页 |
| ·传统的划分方式 | 第16页 |
| ·本系统的特点 | 第16-17页 |
| ·基于路径分配算法的网站划分 | 第17-21页 |
| ·网站划分定义 | 第17-19页 |
| ·确定URL 的路径 | 第19页 |
| ·路径分配算法 | 第19-21页 |
| ·选取种子URL | 第21页 |
| ·网站划分实验 | 第21-25页 |
| ·网站划分评价指标 | 第21-23页 |
| ·网站划分效果 | 第23-25页 |
| ·本章小结 | 第25-26页 |
| 第3章 多用户多任务管理及分配算法 | 第26-39页 |
| ·问题描述 | 第26页 |
| ·多任务管理策略 | 第26-27页 |
| ·任务分配算法 | 第27-35页 |
| ·取模法 | 第28-29页 |
| ·一致性Hash 算法 | 第29-31页 |
| ·分配算法对比实验 | 第31-35页 |
| ·爬虫管理 | 第35-38页 |
| ·爬虫加入处理 | 第35-36页 |
| ·爬虫退出处理 | 第36-37页 |
| ·任务迁移 | 第37-38页 |
| ·本章小结 | 第38-39页 |
| 第4章 多通道并行爬虫技术研究 | 第39-51页 |
| ·爬虫技术 | 第39-42页 |
| ·爬虫设计框架 | 第39-40页 |
| ·网页去重 | 第40页 |
| ·协议及格式控制 | 第40页 |
| ·Robots 控制 | 第40页 |
| ·DNS 缓存 | 第40-41页 |
| ·链接管理 | 第41页 |
| ·网页缓存 | 第41页 |
| ·子链接提取 | 第41-42页 |
| ·网页正文提取 | 第42-45页 |
| ·RSS 内容提取 | 第45-46页 |
| ·BBS 结构化信息提取 | 第46-50页 |
| ·功能需求 | 第46页 |
| ·实现方法 | 第46-49页 |
| ·实验 | 第49-50页 |
| ·本章小结 | 第50-51页 |
| 第5章 面向多任务多通道并行爬虫的系统设计 | 第51-63页 |
| ·系统总体结构 | 第51-52页 |
| ·角色定义 | 第51页 |
| ·系统结构设计 | 第51-52页 |
| ·任务管理模块 | 第52-58页 |
| ·数据结构 | 第53-54页 |
| ·任务下发流程 | 第54-55页 |
| ·任务取消流程 | 第55-56页 |
| ·任务完成流程 | 第56-57页 |
| ·任务分片定时启动 | 第57-58页 |
| ·分布式信息存储 | 第58-60页 |
| ·功能需求 | 第58-59页 |
| ·实现方案 | 第59-60页 |
| ·爬虫可扩展性实验 | 第60-62页 |
| ·本章小结 | 第62-63页 |
| 结论 | 第63-65页 |
| 参考文献 | 第65-68页 |
| 攻读学位期间发表的学术论文 | 第68-70页 |
| 致谢 | 第70页 |
