摘要 | 第1-4页 |
Abstract | 第4-10页 |
第1章 绪论 | 第10-17页 |
·垂直搜索引擎技术介绍 | 第10页 |
·实时垂直搜索引擎的发展及架构 | 第10-11页 |
·实时垂直搜索引擎相关技术 | 第11-16页 |
·Deep web的发现与集成技术 | 第12-13页 |
·抓取任务调度技术 | 第13页 |
·结构化页面的分析提取技术 | 第13-14页 |
·数据清洗技术以及数据判重技术 | 第14-15页 |
·索引技术 | 第15-16页 |
·本文组织 | 第16页 |
·本章小结 | 第16-17页 |
第2章 实时垂直搜索抓取调度相关工作 | 第17-27页 |
·网页排序和对象排序相关工作 | 第17-19页 |
·网页排序研究相关工作 | 第17-18页 |
·对象排序研究相关工作 | 第18-19页 |
·网页变化规律研究相关工作 | 第19-20页 |
·数据新鲜程度研究相关工作 | 第20-25页 |
·数据新鲜程度衡量标准 | 第21页 |
·实时垂直搜索引擎数据新鲜度衡量方法 | 第21-25页 |
·现有工作的不足与改进思路 | 第25-26页 |
·本文的研究思路 | 第26页 |
·本章小结 | 第26-27页 |
第3章 实时垂直搜索引擎抓取策略 | 第27-37页 |
·宏观条件下的数据抓取更新基本策略 | 第27-33页 |
·数据抓取策略 | 第27-28页 |
·数据更新策略 | 第28-30页 |
·数据重抓频率 | 第30-31页 |
·数据更新顺寻 | 第31-32页 |
·实时垂直搜索引擎的数据更新模式 | 第32-33页 |
·数据对象变化规律估算方法 | 第33-36页 |
·数据对象变化规律预测基本问题 | 第33-35页 |
·实时搜索引擎数据对象变化规律预测方法 | 第35-36页 |
·本章小结 | 第36-37页 |
第4章 实时垂直搜索引擎分发策略 | 第37-47页 |
·基于对象关联的热门预测模型 | 第38-39页 |
·基于对象关联的热门预测模型原理 | 第38页 |
·基于对象关联的热门预测模型的改进 | 第38-39页 |
·资源分配及自动平衡策略 | 第39-45页 |
·用户查询规律分析 | 第39-41页 |
·数据变化频率预测 | 第41页 |
·抓取资源的初始分配策略 | 第41-43页 |
·抓取资源动态平衡策略 | 第43-45页 |
·资源分配及平衡算法性能分析 | 第45页 |
·本章小结 | 第45-47页 |
第5章 自适应的实时垂直搜索引擎抓取分发架构 | 第47-60页 |
·实时垂直搜索引擎整体体系结构的改变 | 第47-51页 |
·垂直搜索引擎整体模块划分 | 第47-49页 |
·传统垂直搜索引擎任务分发模块的缺点 | 第49-50页 |
·实时垂直搜索搜索引擎整体架构 | 第50-51页 |
·SACD模型:自适应的实时垂直搜索引擎抓取分发模型 | 第51-59页 |
·SACD模型整体架构 | 第52页 |
·SACD模型各模块介绍 | 第52-57页 |
·SACD模型的自适应性 | 第57-58页 |
·SACD模型的优点 | 第58-59页 |
·本章小结 | 第59-60页 |
第6章 测试和实验 | 第60-66页 |
·数据变化规律验证 | 第60-61页 |
·基于对象关联的热门预测模型准确性 | 第61-62页 |
·资源分配平衡算法准确性 | 第62-64页 |
·算法性能对比 | 第64-65页 |
·本章小结 | 第65-66页 |
第7章 总结与展望 | 第66-68页 |
·本文主要的工作 | 第66页 |
·本文的贡献和创新点 | 第66-67页 |
·下一步研究工作 | 第67-68页 |
参考文献 | 第68-72页 |
攻读硕士学位期间主要的研究成果 | 第72-73页 |
致谢 | 第73页 |