面向Web2.0社区的爬虫关键技术研究
| 摘要 | 第1-4页 |
| Abstract | 第4-9页 |
| 第1章 绪论 | 第9-15页 |
| ·课题背景 | 第9页 |
| ·Web 2.0社区简介 | 第9-12页 |
| ·Web 2.0社区的特点 | 第9-10页 |
| ·典型的Web 2.0社区 | 第10-12页 |
| ·传统搜索引擎对Web 2.0社区的支持 | 第12-13页 |
| ·实时搜索 | 第12页 |
| ·动态内容索引 | 第12-13页 |
| ·本文工作 | 第13-14页 |
| ·章节安排 | 第14-15页 |
| 第2章 面向Web 2.0社区的爬虫技术综述 | 第15-28页 |
| ·实时搜索相关研究 | 第15-23页 |
| ·主动模式的爬虫 | 第15-19页 |
| ·被动模式的爬虫 | 第19-21页 |
| ·实时索引 | 第21-23页 |
| ·Ajax爬虫相关研究 | 第23-27页 |
| ·动态脚本解析 | 第24-25页 |
| ·状态转换图模型 | 第25-26页 |
| ·优化与改进工作 | 第26-27页 |
| ·本章小结 | 第27-28页 |
| 第3章 质量优先的实时爬虫调度策略 | 第28-42页 |
| ·索引质量指标 | 第28-30页 |
| ·索引时延 | 第28页 |
| ·内容权重 | 第28-30页 |
| ·综合度量指标 | 第30页 |
| ·面向质量的爬虫调度策略优化问题 | 第30页 |
| ·面向质量的爬虫调度策略优化算法 | 第30-35页 |
| ·内容权重发布模式 | 第30-34页 |
| ·概率预测模型 | 第34页 |
| ·优化的爬虫调度算法 | 第34-35页 |
| ·实验比较 | 第35-40页 |
| ·实验设置 | 第36页 |
| ·实验数据分析 | 第36-38页 |
| ·概率预测模型训练 | 第38-39页 |
| ·不同爬虫调度策略比较 | 第39页 |
| ·实验结论 | 第39-40页 |
| ·本章小结 | 第40-42页 |
| 第4章 基于状态转换图的动态网页抓取 | 第42-57页 |
| ·状态转换图模型 | 第42-48页 |
| ·状态转换图定义 | 第43-44页 |
| ·状态转换图示例 | 第44页 |
| ·基于状态转换图的广度优先爬行算法 | 第44-45页 |
| ·算法存在的主要问题 | 第45-48页 |
| ·算法改进 | 第48-51页 |
| ·基于XPath特征的无效元素检测 | 第48-49页 |
| ·基于XHR监听的异步请求优化 | 第49-51页 |
| ·优化的Ajax爬虫算法 | 第51-53页 |
| ·实验比较 | 第53-56页 |
| ·实验设置 | 第53页 |
| ·网页召回率比较 | 第53-54页 |
| ·有效状态比例比较 | 第54-55页 |
| ·异步请求数比较 | 第55-56页 |
| ·实验结论 | 第56页 |
| ·本章小结 | 第56-57页 |
| 第5章 面向Web 2.0社区的爬虫原型 | 第57-61页 |
| ·总体设计 | 第57页 |
| ·模块介绍 | 第57-59页 |
| ·调度器 | 第57-58页 |
| ·嵌入式浏览器 | 第58页 |
| ·机器人 | 第58页 |
| ·监听器 | 第58-59页 |
| ·有限状态机 | 第59页 |
| ·控制器 | 第59页 |
| ·系统应用 | 第59-60页 |
| ·本章小结 | 第60-61页 |
| 第6章 总结与展望 | 第61-64页 |
| ·贡献和创新 | 第61-62页 |
| ·不足和局限 | 第62-63页 |
| ·未来展望 | 第63-64页 |
| 参考文献 | 第64-67页 |
| 攻读硕士学位期间主要的研究成果 | 第67-68页 |
| 致谢 | 第68页 |
