改进型实时爬虫的建模研究及其实现
| 摘要 | 第1-7页 |
| Abstract | 第7-12页 |
| 第1章 绪论 | 第12-19页 |
| ·课题研究背景 | 第12-15页 |
| ·课题研究意义 | 第15-17页 |
| ·本文研究的主要内容和文章结构 | 第17-19页 |
| ·本文研究的主要内容 | 第17页 |
| ·文章结构 | 第17-19页 |
| 第2章 爬虫理论基础和研究进展 | 第19-29页 |
| ·搜索引擎 | 第19-23页 |
| ·搜索引擎的定义 | 第19页 |
| ·搜索引擎分类 | 第19-20页 |
| ·搜索引擎设计需求 | 第20-21页 |
| ·搜索引擎原理 | 第21-23页 |
| ·网络爬虫的重要性 | 第23页 |
| ·网络爬虫 | 第23-29页 |
| ·网络爬虫定义 | 第23-24页 |
| ·网络爬虫设计要求 | 第24页 |
| ·网络爬虫原理 | 第24-27页 |
| ·目前几个流行网络爬虫的比较 | 第27页 |
| ·相关研究 | 第27-29页 |
| 第3章 改进型实时爬虫模型设计 | 第29-53页 |
| ·改进型实时爬虫的设计要求 | 第29页 |
| ·改进型实时爬虫的策略分析 | 第29-38页 |
| ·爬虫更新网页库的必要性 | 第29-30页 |
| ·周期与增量策略 | 第30-33页 |
| ·主动与被动策略 | 第33页 |
| ·批量模式和稳定策略 | 第33-35页 |
| ·覆盖和更新策略 | 第35-36页 |
| ·本文改进的实时爬虫策略的推导结论 | 第36-38页 |
| ·改进型实时爬虫的算法设计 | 第38-47页 |
| ·实时抓取更新网页算法 | 第39-43页 |
| ·确定网页创建或最后修改时间 | 第43-45页 |
| ·实时抓取新创建网页算法 | 第45-47页 |
| ·改进的实时爬虫工作流程 | 第47-49页 |
| ·改进的实时爬虫的模型设计 | 第49-53页 |
| 第4章 改进型实时爬虫性能分析 | 第53-56页 |
| ·验证网页时间确定模块准确度 | 第54-55页 |
| ·验证网页下次访问时间计算器 | 第55-56页 |
| 第5章 总结与展望 | 第56-57页 |
| ·本文总结 | 第56页 |
| ·展望 | 第56-57页 |
| 参考文献 | 第57-59页 |
| 作者简介及在学期间所取得的科研成果 | 第59-60页 |
| 致谢 | 第60页 |
