基于广域网的分布式网页信息获取系统的研究与实现
| 内容提要 | 第1-9页 |
| 第1章 绪论 | 第9-14页 |
| ·课题的背景及研究目的 | 第9页 |
| ·与课题相关的国内外研究综述 | 第9-11页 |
| ·网页信息获取技术国外发展现状 | 第9-11页 |
| ·国内相关工作 | 第11页 |
| ·本课题研究的主要内容 | 第11-13页 |
| ·主要完成工作 | 第13-14页 |
| 第2章 分布式网页信息获取系统的相关技术 | 第14-24页 |
| ·预测抓取效果所用网络性能指标的合理性及测量方法 | 第14-17页 |
| ·预测所用网络性能指标的数据分布特征及统计方法 | 第17-20页 |
| ·网络通讯接口技术 | 第20-23页 |
| ·本章小结 | 第23-24页 |
| 第3章 分布式网页信息获取系统的设计 | 第24-34页 |
| ·系统需求分析 | 第24页 |
| ·系统总体功能结构设计 | 第24-25页 |
| ·接口设计 | 第25-26页 |
| ·模块设计 | 第26-33页 |
| ·本章小结 | 第33-34页 |
| 第4章 分布式网页信息获取系统的实现 | 第34-46页 |
| ·系统实现 | 第34-41页 |
| ·公共接口的实现 | 第34-37页 |
| ·单机爬虫的实现 | 第37-41页 |
| ·系统运行界面 | 第41-45页 |
| ·单机爬虫结果抓图 | 第41-44页 |
| ·测量可用带宽及RTT数据结果图 | 第44-45页 |
| ·本章小结 | 第45-46页 |
| 第5章 系统运行测试 | 第46-51页 |
| ·系统测试环境介绍 | 第46页 |
| ·软件条件 | 第46页 |
| ·硬件设施条件 | 第46页 |
| ·分布式系统中各个单结点抓取效果差异测试 | 第46-49页 |
| ·性能测试 | 第49-50页 |
| ·本章小结 | 第50-51页 |
| 结论 | 第51-52页 |
| 参考文献 | 第52-55页 |
| 论文摘要 | 第55-57页 |
| Abstract | 第57-60页 |
| 致谢 | 第60页 |