基于网络爬虫技术的多源下载系统的设计与实现
| 摘要 | 第1-5页 |
| ABSTRACT | 第5-9页 |
| 第一章 引言 | 第9-15页 |
| ·选题背景及意义 | 第9-10页 |
| ·研究现状 | 第10-13页 |
| ·搜索引擎现状 | 第10页 |
| ·javascript在网页中的嵌入方式 | 第10-11页 |
| ·javascript解析的研究现状 | 第11-12页 |
| ·网络下载技术的研究现状 | 第12-13页 |
| ·本文工作及章节安排 | 第13-14页 |
| ·本章小结 | 第14-15页 |
| 第二章 相关技术 | 第15-27页 |
| ·网络爬虫技术 | 第15-20页 |
| ·网络爬虫的基本原理及工作流程 | 第15页 |
| ·网页抓取策略 | 第15-17页 |
| ·网络爬虫分类 | 第17-19页 |
| ·网络爬虫技术的进展 | 第19-20页 |
| ·超文本传输协议HTTP | 第20-24页 |
| ·统一资源定位符URL | 第21页 |
| ·HTTP报文结构 | 第21-23页 |
| ·HTTP协议的内部操作过程 | 第23-24页 |
| ·多线程机制 | 第24-25页 |
| ·线程的创建 | 第24-25页 |
| ·线程的常用方法 | 第25页 |
| ·本章小结 | 第25-27页 |
| 第三章 基于网络爬虫技术的多源下载系统的设计 | 第27-37页 |
| ·总体架构设计 | 第27-28页 |
| ·系统流程设计 | 第28-30页 |
| ·关键技术 | 第30-35页 |
| ·Rhino解析引擎的功能和特点 | 第30-31页 |
| ·Rhino解析引擎分析 | 第31-34页 |
| ·Rhino解析引擎的改进 | 第34-35页 |
| ·本章小结 | 第35-37页 |
| 第四章 基于网络爬虫技术的多源下载系统的实现 | 第37-51页 |
| ·搜索模块的实现 | 第37-42页 |
| ·搜索模块的基本思想 | 第37页 |
| ·搜索模块的实现 | 第37-42页 |
| ·存储和展示模块的实现 | 第42-46页 |
| ·分组存储和展示的必要性 | 第43页 |
| ·存储展示模块的基本思想 | 第43-44页 |
| ·分组规则 | 第44页 |
| ·存储和展示模块的实现 | 第44-46页 |
| ·下载模块的实现 | 第46-50页 |
| ·下载模块的基本思想 | 第46-47页 |
| ·计算文件的MD5值 | 第47-48页 |
| ·下载模块的实现 | 第48-50页 |
| ·本章小结 | 第50-51页 |
| 第五章 测试和实验结果分析 | 第51-54页 |
| ·软件系统的测试 | 第51-52页 |
| ·实验结果 | 第52-53页 |
| ·结论 | 第53-54页 |
| 第六章 总结与展望 | 第54-56页 |
| ·课题总结 | 第54-55页 |
| ·未来工作展望 | 第55-56页 |
| 参考文献 | 第56-58页 |
| 致谢 | 第58-59页 |
| 作者攻读学位期间发表的学术论文目录 | 第59页 |
