基于P2P的被动式网络爬虫系统
| 摘要 | 第1-5页 |
| Abstract | 第5-9页 |
| 第1章 绪论 | 第9-18页 |
| ·课题背景 | 第9页 |
| ·课题研究的目的及意义 | 第9-10页 |
| ·国内外相关研究现状 | 第10-17页 |
| ·网络爬虫发展现状 | 第10-13页 |
| ·点对点传输技术发展现状 | 第13-15页 |
| ·智能体技术发展现状 | 第15-17页 |
| ·本文主要研究内容及论文结构 | 第17-18页 |
| 第2章 网络爬虫技术 | 第18-33页 |
| ·引言 | 第18页 |
| ·传统网络爬虫的基本原理 | 第18-27页 |
| ·爬虫的基本结构 | 第18-20页 |
| ·爬虫的收集策略 | 第20-22页 |
| ·爬虫的页面分析搜索策略 | 第22-26页 |
| ·爬虫的更新策略 | 第26-27页 |
| ·传统网络爬虫的改进模型 | 第27-32页 |
| ·页面更新策略改进 | 第27-31页 |
| ·对等网络搜索爬虫 | 第31-32页 |
| ·本章小结 | 第32-33页 |
| 第3章 基于P2P的被动式爬虫系统 | 第33-47页 |
| ·引言 | 第33页 |
| ·被动式爬虫的系统结构 | 第33-35页 |
| ·被动式爬虫关键技术研究 | 第35-46页 |
| ·信息的描述 | 第35-36页 |
| ·新站点的发现 | 第36-38页 |
| ·爬虫客户端和服务器的注册 | 第38-39页 |
| ·网站内容更新的监控 | 第39-40页 |
| ·文件传输时间调度与优化 | 第40页 |
| ·基于P2P的更新内容下载方法 | 第40-42页 |
| ·文件块的选择算法 | 第42-46页 |
| ·本章小结 | 第46-47页 |
| 第4章 基于全能体的P2P爬虫实现 | 第47-58页 |
| ·引言 | 第47页 |
| ·全能体的基本概念 | 第47-49页 |
| ·全能体思想 | 第47-48页 |
| ·全能体与智能体的关系 | 第48-49页 |
| ·全能体技术平台介绍 | 第49-54页 |
| ·概况 | 第49-50页 |
| ·层次结构 | 第50页 |
| ·平台中的智能体 | 第50-51页 |
| ·虚拟网络连接 | 第51-52页 |
| ·通信方式 | 第52-53页 |
| ·开发平台的选择 | 第53页 |
| ·开发平台的改进 | 第53-54页 |
| ·智能体设计 | 第54-57页 |
| ·支持系统运行的智能体 | 第54-55页 |
| ·实现系统功能的智能体 | 第55-57页 |
| ·本章小结 | 第57-58页 |
| 第5章 系统测试及结果分析 | 第58-63页 |
| ·引言 | 第58页 |
| ·实验环境 | 第58页 |
| ·爬虫客户端系统资源占用测试 | 第58-59页 |
| ·网站服务器数据传输效率测试 | 第59-60页 |
| ·改进的片段选择算法传输性能测试及分析 | 第60-62页 |
| ·本章小结 | 第62-63页 |
| 结论 | 第63-64页 |
| 参考文献 | 第64-69页 |
| 致谢 | 第69页 |
