实时垂直搜索引擎的爬虫技术研究
| 摘要 | 第1-5页 |
| Abstract | 第5-8页 |
| 1 绪论 | 第8-12页 |
| ·课题背景及意义 | 第8-9页 |
| ·国内外研究现状 | 第9-10页 |
| ·论文主要研究内容 | 第10页 |
| ·论文组织结构 | 第10-12页 |
| 2 相关技术的研究现状 | 第12-24页 |
| ·传统网络爬虫的相关研究 | 第12-13页 |
| ·基本原理 | 第12页 |
| ·工作流程 | 第12-13页 |
| ·网页抓取策略 | 第13页 |
| ·传统网络爬虫的不足 | 第13页 |
| ·Ajax爬虫的相关研究 | 第13-17页 |
| ·Ajax技术相关介绍 | 第13-16页 |
| ·动态脚本解析 | 第16页 |
| ·状态转换图 | 第16-17页 |
| ·实时搜索调度的相关研究 | 第17-23页 |
| ·网页和对象排序 | 第18-19页 |
| ·页面变化规律 | 第19-20页 |
| ·数据新鲜程度 | 第20-23页 |
| ·本章小结 | 第23-24页 |
| 3 基于动态转换图的网页抓取 | 第24-35页 |
| ·动态脚本解析 | 第24-25页 |
| ·动态状态转换图模型 | 第25-30页 |
| ·动态状态转换图定义 | 第25-27页 |
| ·页面相似性判定 | 第27页 |
| ·基于动态状态转换图的爬行算法 | 第27-29页 |
| ·爬行算法的主要问题 | 第29-30页 |
| ·算法改进 | 第30-34页 |
| ·Web页面区域划分 | 第30-32页 |
| ·基于Xpath特征的有效元素的检测 | 第32-34页 |
| ·本章小结 | 第34-35页 |
| 4 基于时间敏感的实时调度策略 | 第35-48页 |
| ·数据抓取更新策略 | 第35-40页 |
| ·数据抓取策略 | 第35-37页 |
| ·数据更新策略 | 第37-39页 |
| ·数据重抓频率 | 第39页 |
| ·数据抓取顺序 | 第39-40页 |
| ·基于查询驱动的抓取技术 | 第40-43页 |
| ·对象变化频率的估算方法 | 第43-45页 |
| ·对象变化的采样方法 | 第43-44页 |
| ·预测对象变化规律 | 第44-45页 |
| ·对象热门程度预测 | 第45-46页 |
| ·基于泊松过程的抓取调度策略 | 第46-47页 |
| ·本章小结 | 第47-48页 |
| 5 测试和实验 | 第48-53页 |
| ·网页抓取结果比较 | 第48-49页 |
| ·对象热门程度预测模型的验证 | 第49-50页 |
| ·基于泊松过程的抓取调度策略的验证 | 第50-51页 |
| ·本章小结 | 第51-53页 |
| 结论 | 第53-54页 |
| 参考文献 | 第54-56页 |
| 攻读硕士学位期间发表学术论文情况 | 第56-57页 |
| 致谢 | 第57-58页 |
