首页--工业技术论文--自动化技术、计算机技术论文--计算技术、计算机技术论文--计算机的应用论文--计算机网络论文--一般性问题论文

面向网络爬虫的海量URL数据管理技术研究

摘要第1-5页
Abstract第5-9页
第1章 绪论第9-15页
   ·课题研究背景和意义第9-10页
     ·研究背景第9页
     ·研究意义第9-10页
   ·课题研究现状第10-12页
     ·基于计算机内存的URL 管理方式第10-11页
     ·基于已有的数据库系统第11页
     ·基于文件系统第11-12页
   ·课题研究内容第12-13页
     ·快速索引技术第12-13页
     ·海量URL 管理的缓存策略第13页
     ·海量URL 管理任务流水模型第13页
   ·本文的结构安排第13-15页
第2章 基于NC-Trie 的海量URL 索引技术第15-37页
   ·常用的索引技术介绍及分析第15-17页
     ·HASH 索引技术第15-16页
     ·树结构索引技术第16-17页
     ·Hybrid-TH 索引技术第17页
   ·Trie 索引技术第17-23页
     ·Trie 概述第17-19页
     ·Trie 结点的表示第19页
     ·Trie 压缩技术第19-23页
   ·海量URL 管理的索引技术-NC-Trie第23-32页
     ·NC-Trie 的定义第23-24页
     ·NC-Trie 的结点结构第24-25页
     ·NC-Trie 的操作算法第25-29页
     ·NC-Trie 的效率分析第29-31页
     ·NC-Trie 的并发控制第31-32页
   ·NC-Trie 的辅助压缩第32-33页
     ·压缩属性值域的元素个数第32页
     ·压缩属性序列的长度第32-33页
     ·MD5 预处理第33页
   ·NC-Trie 中N 的确定第33-37页
     ·NC-Trie 外存结点的表示第33-35页
     ·确定NC-Trie 中N 的实验第35页
     ·实验结果及其分析第35-37页
第3章 海量URL 管理的缓存技术第37-49页
   ·NC-Trie 索引的缓存技术第37-42页
     ·NC-Trie 索引的缓存组织结构第37页
     ·NC-Tire 索引的缓存替换策略第37-38页
     ·NC-Tire 索引的缓存替换算法第38-40页
     ·NC-Trie 缓存的访问控制第40-42页
   ·NC-Trie 结点更新缓存第42-44页
     ·NC-Trie 更新结点的缓存组织第42页
     ·NC-Trie 更新结点的数据一致性第42-43页
     ·缓存内容更新优化第43-44页
   ·记录的缓存技术第44页
     ·记录的结构第44页
     ·记录的缓冲器设计第44页
     ·记录的缓存更新优化第44页
   ·记录缓存优化和NC-Trie 结点缓存优化试第44-46页
     ·实验描述第44-45页
     ·实验结果和分析第45-46页
   ·NC-Trie 索引缓存试验第46-49页
     ·实验描述第46-47页
     ·实验结果及分析第47-49页
第4章 基于指令流水思想的海量URL 管理优化第49-56页
   ·引入指令流水模型原因第49页
     ·提高程序的并发度第49页
     ·提高计算机处理器执行指令效率第49页
   ·海量URL 的指令管理第49-50页
   ·海量URL 的查询指令流水模型第50-52页
     ·查询操作执行过程第50页
     ·查询任务的分割第50页
     ·查询任务处理器设计第50-52页
   ·海量URL 的更新指令流水模型第52-54页
     ·更新操作执行过程第52页
     ·更新任务分割第52页
     ·更新任务处理器的设计第52-54页
   ·优化后的效果及其分析第54-56页
第5章 基于硬盘NC-Trie 索引的海量URL 管理系统第56-61页
   ·系统设计与实现第56-57页
     ·开发平台及工具第56页
     ·实现意义及目标第56页
     ·系统总体设计第56-57页
   ·系统详细设计第57页
   ·系统的模块设计第57-60页
     ·任务预处理器第57-58页
     ·NC-Trie 索引管理模块第58页
     ·记录管理模块第58-59页
     ·任务流水线第59-60页
     ·外存优化访问管理器第60页
     ·流水线管理器第60页
   ·本章小结第60-61页
结论第61-62页
参考文献第62-66页
致谢第66页

论文共66页,点击 下载论文
上一篇:以太网实验系统的研究
下一篇:IP语音匿名通信关键技术研究