基于广域网的分布式网页信息获取系统的研究与实现
内容提要 | 第1-9页 |
第1章 绪论 | 第9-14页 |
·课题的背景及研究目的 | 第9页 |
·与课题相关的国内外研究综述 | 第9-11页 |
·网页信息获取技术国外发展现状 | 第9-11页 |
·国内相关工作 | 第11页 |
·本课题研究的主要内容 | 第11-13页 |
·主要完成工作 | 第13-14页 |
第2章 分布式网页信息获取系统的相关技术 | 第14-24页 |
·预测抓取效果所用网络性能指标的合理性及测量方法 | 第14-17页 |
·预测所用网络性能指标的数据分布特征及统计方法 | 第17-20页 |
·网络通讯接口技术 | 第20-23页 |
·本章小结 | 第23-24页 |
第3章 分布式网页信息获取系统的设计 | 第24-34页 |
·系统需求分析 | 第24页 |
·系统总体功能结构设计 | 第24-25页 |
·接口设计 | 第25-26页 |
·模块设计 | 第26-33页 |
·本章小结 | 第33-34页 |
第4章 分布式网页信息获取系统的实现 | 第34-46页 |
·系统实现 | 第34-41页 |
·公共接口的实现 | 第34-37页 |
·单机爬虫的实现 | 第37-41页 |
·系统运行界面 | 第41-45页 |
·单机爬虫结果抓图 | 第41-44页 |
·测量可用带宽及RTT数据结果图 | 第44-45页 |
·本章小结 | 第45-46页 |
第5章 系统运行测试 | 第46-51页 |
·系统测试环境介绍 | 第46页 |
·软件条件 | 第46页 |
·硬件设施条件 | 第46页 |
·分布式系统中各个单结点抓取效果差异测试 | 第46-49页 |
·性能测试 | 第49-50页 |
·本章小结 | 第50-51页 |
结论 | 第51-52页 |
参考文献 | 第52-55页 |
论文摘要 | 第55-57页 |
Abstract | 第57-60页 |
致谢 | 第60页 |