基于网格的大规模网页采集技术研究
摘要 | 第1-5页 |
Abstract | 第5-9页 |
第1章 绪论 | 第9-14页 |
·课题背景 | 第9-10页 |
·国内外研究概况 | 第10-12页 |
·本文研究内容 | 第12-14页 |
·课题来源 | 第12-13页 |
·主要内容及篇章结构 | 第13-14页 |
第2章 网格技术与网页采集技术研究 | 第14-30页 |
·网格技术研究概述 | 第14-17页 |
·网格基本概念 | 第14页 |
·网格项目开发包—Globus Toolkit | 第14-17页 |
·网页采集技术研究概述 | 第17-28页 |
·网页采集基本原理 | 第17-21页 |
·网页采集性能影响因素分析 | 第21-28页 |
·基于网格的网页采集的优点 | 第28-29页 |
·本章小结 | 第29-30页 |
第3章 基于网格的网页采集模型 | 第30-41页 |
·网页采集模型架构 | 第30-32页 |
·网页采集工作模式 | 第32-33页 |
·基本工作模式 | 第32页 |
·改进的交互模式 | 第32-33页 |
·任务分配机制 | 第33-38页 |
·种子Urls 的选取 | 第33-34页 |
·划分函数的设定 | 第34-35页 |
·任务调度算法 | 第35-38页 |
·数据存储方式 | 第38-39页 |
·模型分析 | 第39-40页 |
·本章小结 | 第40-41页 |
第4章 基于网格的网页采集系统设计与实现 | 第41-54页 |
·系统逻辑拓扑 | 第41-42页 |
·系统数据流程 | 第42-44页 |
·系统模块结构 | 第44-48页 |
·Grid Portal | 第44-45页 |
·Grid Center | 第45-46页 |
·Grid Node | 第46-47页 |
·Sub Node | 第47-48页 |
·实验设计与实验结果 | 第48-53页 |
·实验环境 | 第48-49页 |
·参数配置 | 第49-51页 |
·实验结果 | 第51-53页 |
·本章小结 | 第53-54页 |
结论 | 第54-56页 |
参考文献 | 第56-60页 |
攻读学位期间发表的学术论文 | 第60-62页 |
致谢 | 第62页 |