网页增量式采集技术研究
| 摘要 | 第1-5页 |
| Abstract | 第5-9页 |
| 第1章 绪论 | 第9-19页 |
| ·课题背景及意义 | 第9-11页 |
| ·网页采集系统的基本原理 | 第11-13页 |
| ·采集网页集合的工作原理 | 第11页 |
| ·单个网页的采集原理 | 第11-13页 |
| ·网页采集系统的结构 | 第13-15页 |
| ·网页增量采集的概念和特点 | 第15页 |
| ·网页增量采集的定义 | 第15页 |
| ·网页增量采集的优点 | 第15页 |
| ·网页增量采集研究现状 | 第15-17页 |
| ·网页的增量采集方式 | 第15-16页 |
| ·网页的增量采集策略 | 第16-17页 |
| ·本文的主要研究内容 | 第17-19页 |
| 第2章 增量采集网页树 | 第19-28页 |
| ·目录型网页识别 | 第19-23页 |
| ·目录型网页的定义 | 第19页 |
| ·目录型网页识别的必要性 | 第19-21页 |
| ·基于分类的目录型网页识别 | 第21-22页 |
| ·目录型网页识别的应用 | 第22-23页 |
| ·目录型网页更新时间预测 | 第23-27页 |
| ·网页摘要获取 | 第23-24页 |
| ·基于泊松模型的方法 | 第24-25页 |
| ·基于改进泊松模型的方法 | 第25-26页 |
| ·目录型网页更新预测的应用 | 第26-27页 |
| ·本章小结 | 第27-28页 |
| 第3章 主题团网页采集 | 第28-36页 |
| ·主题团的定义 | 第28页 |
| ·主题团的链接关系特征 | 第28-29页 |
| ·识别出主题团的必要性 | 第29-31页 |
| ·主题型网页的正文提取 | 第31-33页 |
| ·HITS算法 | 第33-34页 |
| ·基于HITS算法的主题团链接提取 | 第34页 |
| ·基于最大熵分类器的主题团识别 | 第34-35页 |
| ·链接信息的特征选取 | 第34-35页 |
| ·实验设计及实验结果 | 第35页 |
| ·本章小结 | 第35-36页 |
| 第4章 基于URL特征的网页树剪枝 | 第36-44页 |
| ·最近访问URL缓存 | 第36-38页 |
| ·LRU算法 | 第36-37页 |
| ·改进LRU算法 | 第37-38页 |
| ·改进LRU算法在URL缓存上的应用 | 第38页 |
| ·URL中日期的识别 | 第38-43页 |
| ·URL中包含日期的统计 | 第38-39页 |
| ·URL日期识别的重要性 | 第39-40页 |
| ·URL中日期的模板 | 第40-42页 |
| ·URL中日期识别实验及结果分析 | 第42页 |
| ·基于URL日期识别的增量采集 | 第42-43页 |
| ·本章小结 | 第43-44页 |
| 第5章 系统的实现与分析 | 第44-55页 |
| ·网页增量采集系统的设计要求 | 第44-45页 |
| ·系统总体设计 | 第45-46页 |
| ·系统模块设计 | 第46-50页 |
| ·系统增量采集新网页的流程 | 第50-53页 |
| ·不含日期的URL对应网页的增量采集 | 第50页 |
| ·含日期的URL对应网页的增量采集 | 第50-53页 |
| ·系统增量采集实验 | 第53-54页 |
| ·增量采集评测方法 | 第53页 |
| ·实验结果及分析 | 第53-54页 |
| ·本章小结 | 第54-55页 |
| 结论 | 第55-56页 |
| 参考文献 | 第56-61页 |
| 致谢 | 第61页 |
