支持Ajax技术的主题网络爬虫系统研究与实现
| 致谢 | 第1-6页 |
| 摘要 | 第6-7页 |
| ABSTRACT | 第7-11页 |
| 1 绪论 | 第11-14页 |
| ·课题研究背景和意义 | 第11-12页 |
| ·国内外研究现状 | 第12-13页 |
| ·本文主要工作及组织结构 | 第13-14页 |
| 2 相关知识介绍 | 第14-32页 |
| ·网络爬虫介绍 | 第14-19页 |
| ·网络爬虫分类 | 第14-18页 |
| ·网络爬虫爬行策略 | 第18-19页 |
| ·网络爬虫规范 | 第19页 |
| ·Ajax介绍 | 第19-23页 |
| ·Ajax技术介绍 | 第19-21页 |
| ·网页中嵌入JavaScript的方式 | 第21-22页 |
| ·Ajax对网络爬虫的影响 | 第22-23页 |
| ·网页信息采集策略 | 第23-24页 |
| ·协议驱动采集 | 第23页 |
| ·事件驱动采集 | 第23-24页 |
| ·信息抽取相关知识 | 第24-25页 |
| ·相关技术介绍 | 第25-31页 |
| ·正则表达式 | 第26页 |
| ·DOM介绍 | 第26-28页 |
| ·XPath介绍 | 第28-29页 |
| ·浏览器相关知识 | 第29-31页 |
| ·本章小结 | 第31-32页 |
| 3 支持Ajax技术的主题网络爬虫系统设计 | 第32-38页 |
| ·设计系统影响因素 | 第32-35页 |
| ·系统功能 | 第32页 |
| ·新闻站点逻辑分析 | 第32-33页 |
| ·评论网页结构相似性 | 第33-35页 |
| ·网页采集策略分析 | 第35页 |
| ·总体结构 | 第35-37页 |
| ·系统总体框架图 | 第35-36页 |
| ·预处理阶段 | 第36页 |
| ·实施阶段 | 第36-37页 |
| ·本章小结 | 第37-38页 |
| 4 预处理阶段 | 第38-47页 |
| ·相关数据模型 | 第38-39页 |
| ·有效触发元素查找流程 | 第39-41页 |
| ·有效触发元素查找关键技术 | 第41-44页 |
| ·Ajax状态DOM树的建立 | 第41-42页 |
| ·Ajax状态有效性判定 | 第42-44页 |
| ·有效触发元素规约及分类 | 第44-45页 |
| ·采集规则验证 | 第45-46页 |
| ·本章小结 | 第46-47页 |
| 5 实施阶段 | 第47-56页 |
| ·主题信息采集框架 | 第47-48页 |
| ·协调模块 | 第48-50页 |
| ·URL的管理 | 第48-49页 |
| ·多线程管理 | 第49-50页 |
| ·协议驱动采集 | 第50-51页 |
| ·事件驱动采集模块 | 第51-53页 |
| ·主题信息处理模块 | 第53-55页 |
| ·主题信息抽取 | 第53-54页 |
| ·数据库设计 | 第54-55页 |
| ·本章小结 | 第55-56页 |
| 6 系统验证及总结 | 第56-65页 |
| ·系统验证 | 第56-63页 |
| ·系统功能验证 | 第56-61页 |
| ·系统效率验证 | 第61-63页 |
| ·总结 | 第63-65页 |
| ·论文工作总结 | 第63-64页 |
| ·未来工作 | 第64-65页 |
| 参考文献 | 第65-67页 |
| 作者简历 | 第67-69页 |
| 学位论文数据集 | 第69页 |
