| 摘要 | 第1-6页 |
| Abstract | 第6-10页 |
| 第1章 绪论 | 第10-16页 |
| ·课题来源及研究的目的和意义 | 第10-11页 |
| ·课题来源 | 第10页 |
| ·研究意义 | 第10-11页 |
| ·国内外相关技术发展现状 | 第11-14页 |
| ·URL 管理的技术现状 | 第11-13页 |
| ·文件系统的技术现状 | 第13-14页 |
| ·本文的主要内容 | 第14-15页 |
| ·本文的结构安排 | 第15-16页 |
| 第2章 Web 爬虫中海量URL 数据的存取操作分析 | 第16-23页 |
| ·引言 | 第16页 |
| ·web 爬虫对海量URL 的存取需求 | 第16-19页 |
| ·web 爬虫的相关术语诠释 | 第16-17页 |
| ·web 爬虫的流程 | 第17-18页 |
| ·web 爬虫对URL 的存取需求 | 第18-19页 |
| ·基于关系数据库的海量URL 存取方法分析 | 第19-20页 |
| ·海量URL 操作的性能瓶颈 | 第20-22页 |
| ·内存数据库、嵌入式数据库、关系数据库的对比 | 第20-21页 |
| ·快速文件系统模型 | 第21-22页 |
| ·本章小结 | 第22-23页 |
| 第3章 快速文件系统的逻辑存取模型 | 第23-41页 |
| ·引言 | 第23页 |
| ·海量URL 的去重技术 | 第23-24页 |
| ·基于哈希的去重技术 | 第23页 |
| ·哈希函数的选择实验 | 第23-24页 |
| ·海量URL 的索引技术 | 第24-28页 |
| ·哈希索引技术 | 第25-26页 |
| ·Trie 索引 | 第26页 |
| ·B 树索引 | 第26-28页 |
| ·基于优化B+树的快速文件系统逻辑存取模型 | 第28-38页 |
| ·URL 及其附属信息的存储结构 | 第28页 |
| ·逻辑存取模型 | 第28-29页 |
| ·优化B+树索引 | 第29-35页 |
| ·优化B+树的实验分析 | 第35-38页 |
| ·并发存取模型设计 | 第38-40页 |
| ·锁机制 | 第38-39页 |
| ·共享缓冲区并发模型 | 第39-40页 |
| ·本章小结 | 第40-41页 |
| 第4章 快速文件系统的物理存取模型及I/O 优化 | 第41-52页 |
| ·引言 | 第41页 |
| ·海量URL 的物理存取模型 | 第41-44页 |
| ·URL 的物理存取结构 | 第41-42页 |
| ·快速文件系统的物理存取模型 | 第42-43页 |
| ·外存地址的映射关系 | 第43-44页 |
| ·海量URL 的缓存技术 | 第44-47页 |
| ·快速文件系统的缓存策略 | 第44-46页 |
| ·缓存命中率实验分析 | 第46-47页 |
| ·I/O 优化 | 第47-51页 |
| ·I/O 优化原理 | 第47-49页 |
| ·I/O 优化实验分析 | 第49-51页 |
| ·本章小结 | 第51-52页 |
| 第5章 面向Web 爬虫的海量URL 快速文件系统设计与实现 | 第52-59页 |
| ·引言 | 第52页 |
| ·快速文件系统的设计目标 | 第52页 |
| ·系统的总体设计 | 第52-54页 |
| ·系统的详细设计 | 第54-57页 |
| ·去重模块 | 第54页 |
| ·索引管理模块 | 第54-55页 |
| ·记录管理模块 | 第55-56页 |
| ·缓存管理模块 | 第56-57页 |
| ·页面调度模块 | 第57页 |
| ·实验结果和对比 | 第57-58页 |
| ·本章小结 | 第58-59页 |
| 结论 | 第59-60页 |
| 参考文献 | 第60-64页 |
| 致谢 | 第64页 |