摘 要 | 第1-4页 |
ABSTRACT | 第4-6页 |
目 录 | 第6-9页 |
第一章 引 言 | 第9-15页 |
·研究背景 | 第9-11页 |
·Web页面跟踪系统 | 第9页 |
·Web页面跟踪系统的组成及分类 | 第9-10页 |
·相关研究 | 第10-11页 |
·研究目标与研究内容 | 第11-13页 |
·论文组织结构 | 第13-15页 |
第二章 页面跟踪CRAWLER的设计 | 第15-25页 |
·HTTP协议分析 | 第15-20页 |
·HTTP协议概述 | 第15-17页 |
·HTTP协议中与页面状态检查有关的部分 | 第17-20页 |
·小结 | 第20页 |
·多线程并行采集器 | 第20-22页 |
·基本采集器 | 第20-21页 |
·多线程并行采集-线程池 | 第21-22页 |
·采集器性能评测 | 第22-25页 |
·测试环境 | 第22页 |
·实验结果 | 第22-24页 |
·实验小结 | 第24-25页 |
第三章 页面更新检测与变更通告 | 第25-33页 |
·页面跟踪的输入输出 | 第25-27页 |
·页面跟踪输入输出的描述 | 第25-26页 |
·页面跟踪的RSS/RDF描述 | 第26-27页 |
·页面更新检测 | 第27-29页 |
·更新检测概述 | 第27-28页 |
·更新检测模块的设计 | 第28-29页 |
·文件存储设计 | 第29-30页 |
·变更通告服务 | 第30-33页 |
第四章 页面更新频率预测算法研究与评价 | 第33-50页 |
·页面更新频率的相关研究 | 第33-34页 |
·页面更新特性分析 | 第34-38页 |
·问题描述 | 第34-35页 |
·数学模型及其分析 | 第35-37页 |
·更新频率预测器 | 第37-38页 |
·更新频率预测器算法设计 | 第38-42页 |
·基于泊松模型的ASA算法 | 第38-40页 |
·QFA算法 | 第40-41页 |
·算法实现 | 第41-42页 |
·算法测试与评价 | 第42-49页 |
·测试方案设计 | 第42页 |
·模拟测试工具 | 第42-45页 |
·实验结果及分析 | 第45-49页 |
·小结 | 第49-50页 |
第五章 系统构建与应用实例 | 第50-67页 |
·系统结构 | 第50-51页 |
·主要数据结构 | 第51-54页 |
·频道和跟踪对象 | 第51-52页 |
·任务及其管理 | 第52-53页 |
·系统日志 | 第53页 |
·系统参数 | 第53-54页 |
·跟踪服务的设计与实现 | 第54-59页 |
·TaskManager:自适应的跟踪调度 | 第55-57页 |
·Crawler:多线程的信息搜集器 | 第57-58页 |
·ChangeDetector:高效率的信息更新检测 | 第58-59页 |
·典型用户服务的设计与实现 | 第59-64页 |
·分布式信息服务与MVC框架 | 第60页 |
·Model-数据 | 第60-62页 |
·View-用户界面 | 第62-63页 |
·Controller-控制器 | 第63-64页 |
·ChangeSpider应用实例 | 第64-67页 |
·实例1:网站栏目的信息采编与维护 | 第64-65页 |
·实例2:房地产信息的实时搜集 | 第65-67页 |
第六章 总结与进一步工作 | 第67-69页 |
·小结 | 第67-68页 |
·下一步的工作 | 第68-69页 |
参考文献 | 第69-73页 |
致 谢 | 第73-74页 |
个人简历、在学期间的研究成果及发表的学术论文 | 第74页 |