基于B~*树和B+树融合索引的海量URL管理技术
| 摘要 | 第1-6页 |
| Abstract | 第6-10页 |
| 第1章 绪 论 | 第10-17页 |
| ·课题研究背景和意义 | 第10-12页 |
| ·研究背景 | 第10页 |
| ·研究意义 | 第10-12页 |
| ·国内外相关研究和综述 | 第12-14页 |
| ·WEB爬虫技术现状 | 第12-13页 |
| ·URL管理系统技术现状 | 第13-14页 |
| ·课题研究内容 | 第14-15页 |
| ·本文的结构安排 | 第15-17页 |
| 第2章 海量URL存储的关键技术分析 | 第17-26页 |
| ·引言 | 第17页 |
| ·WEB爬虫对海量URL管理的要求 | 第17-19页 |
| ·Crawler的爬行 | 第17-19页 |
| ·Crawler对海量URL管理的基本要求 | 第19页 |
| ·海量URL管理的关键技术 | 第19-24页 |
| ·URL去重技术 | 第19-21页 |
| ·海量URL管理系统的索引技术 | 第21-23页 |
| ·海量数据管理的缓存技术 | 第23-24页 |
| ·URL数据管理系统运行优化 | 第24页 |
| ·本章小结 | 第24-26页 |
| 第3章 海量URL去重技术和数据存储结构研究 | 第26-44页 |
| ·引言 | 第26页 |
| ·海量URL去重技术 | 第26-29页 |
| ·URL去重技术的选择 | 第26-27页 |
| ·URL的哈希函数选择 | 第27-29页 |
| ·URL索引存储结构NP_B+TREE | 第29-38页 |
| ·适用于海量数据管理的NP_B+Tree索引 | 第29-30页 |
| ·NP_B+Tree的存储结构描述 | 第30-32页 |
| ·NP_B+Tree的基本操作 | 第32-38页 |
| ·NP_B+TREE存储结构的性能分析和实验 | 第38-43页 |
| ·NP_B+Tree存储空间存储占有量分析 | 第38-40页 |
| ·NP_B+Tree的更新效率分析 | 第40-41页 |
| ·NP_B+Tree的查询效率分析 | 第41-43页 |
| ·本章小结 | 第43-44页 |
| 第4章 基于缓存技术的海量URL管理方案 | 第44-54页 |
| ·引言 | 第44页 |
| ·海量URL数据的预取、缓存策略 | 第44-49页 |
| ·预取、缓存相结合的访问策略 | 第44-45页 |
| ·针对URL数据访问方式的数据预取算法 | 第45-47页 |
| ·预取、缓存模块的性能分析与实验 | 第47-49页 |
| ·海量URL管理系统运行优化设计 | 第49-52页 |
| ·基于任务流水线思想的运行管理优化 | 第49页 |
| ·内外存替换时的缓存排序优化 | 第49-50页 |
| ·海量URL管理系统运行优化实验分析 | 第50-52页 |
| ·本章小结 | 第52-54页 |
| 第5章 海量URL管理系统的设计与实现 | 第54-60页 |
| ·引言 | 第54页 |
| ·URL管理系统系统的设计目标 | 第54页 |
| ·URL管理系统的体系结构和功能模块设计 | 第54-57页 |
| ·URL管理系统的体系结构 | 第54-55页 |
| ·URL管理系统功能模块详细设计 | 第55-57页 |
| ·海量URL管理系统性能测试 | 第57-59页 |
| ·开发平台及工具 | 第57页 |
| ·海量URL管理系统运行性能实验 | 第57-59页 |
| ·本章小结 | 第59-60页 |
| 结论 | 第60-62页 |
| 参考文献 | 第62-66页 |
| 致谢 | 第66页 |
