| 中文摘要 | 第1-5页 |
| ABSTRACT | 第5-10页 |
| 第一章 绪论 | 第10-13页 |
| ·课题研究背景和意义 | 第10页 |
| ·国内外研究现状 | 第10-11页 |
| ·本文的主要工作及组织结构 | 第11-13页 |
| 第二章 系统相关技术介绍 | 第13-27页 |
| ·网络爬虫介绍 | 第13-16页 |
| ·网络爬虫分类 | 第13页 |
| ·网络爬虫爬行策略 | 第13-16页 |
| ·Ajax 介绍 | 第16-20页 |
| ·Ajax 技术介绍 | 第16-17页 |
| ·网页中嵌入 JavaScript 的方式 | 第17-18页 |
| ·JavaScript 跳转方式介绍 | 第18-19页 |
| ·JQuery 实现 Ajax 请求介绍 | 第19-20页 |
| ·网络信息采集策略 | 第20-21页 |
| ·协议驱动采集 | 第20页 |
| ·事件驱动采集 | 第20-21页 |
| ·相关技术介绍 | 第21-26页 |
| ·正则表达式 | 第21-22页 |
| ·Nutch 简介 | 第22页 |
| ·Nutch 基本原理分析 | 第22-23页 |
| ·Nutch 工作流程分析 | 第23-26页 |
| ·Hadoop 介绍 | 第26页 |
| ·Quartz 介绍 | 第26页 |
| ·HttpClient 介绍 | 第26页 |
| ·本章小结 | 第26-27页 |
| 第三章 系统设计思路 | 第27-35页 |
| ·系统整体需求 | 第27-28页 |
| ·Nutch 改进设计思路 | 第28-32页 |
| ·JavaScript 处理器的构建思路 | 第32-34页 |
| ·定时调度设计 | 第34页 |
| ·本章小结 | 第34-35页 |
| 第四章 系统实现 | 第35-46页 |
| ·系统开发环境介绍 | 第35页 |
| ·Nutch 的安装和配置 | 第35-37页 |
| ·JavaScript 处理器的实现 | 第37-41页 |
| ·JavaScript 处理器获取页面脚本 | 第37-39页 |
| ·使用正则表达式匹配脚本 | 第39-41页 |
| ·判断 URL 是否属于 Ajax 请求的 URL | 第41页 |
| ·定时调度的实现 | 第41-42页 |
| ·系统实现效果图 | 第42-45页 |
| ·本章小结 | 第45-46页 |
| 第五章 系统测试 | 第46-50页 |
| ·系统测试环境搭建 | 第46-48页 |
| ·系统功能测试 | 第48-49页 |
| ·本章小结 | 第49-50页 |
| 第六章 总结与展望 | 第50-52页 |
| 参考文献 | 第52-54页 |
| 攻读学位期间发表的学术论文 | 第54-55页 |
| 参与的科研项目 | 第55-56页 |
| 致谢 | 第56页 |