| 摘要 | 第1-6页 |
| Abstract | 第6-10页 |
| 第1章 绪论 | 第10-18页 |
| ·研究背景及意义 | 第10-11页 |
| ·研究现状 | 第11-14页 |
| ·论文的主要工作 | 第14-15页 |
| ·本文组织结构 | 第15-18页 |
| 第2章 P2P相关技术 | 第18-32页 |
| ·P2P概述 | 第18-21页 |
| ·P2P的概念 | 第18-19页 |
| ·P2P的优势 | 第19-20页 |
| ·P2P的应用 | 第20-21页 |
| ·P2P网络模型 | 第21-25页 |
| ·集中目录式P2P网络模型 | 第22页 |
| ·混合式P2P网络模型 | 第22-23页 |
| ·非结构化P2P网络模型 | 第23-24页 |
| ·结构化P2P网络模型 | 第24-25页 |
| ·Chord协议 | 第25-30页 |
| ·Chord协议的思想 | 第25-26页 |
| ·哈希函数 | 第26-28页 |
| ·Chord对象定位算法 | 第28-30页 |
| ·本章小结 | 第30-32页 |
| 第3章 面向P2P网络的分布式Web Crawler | 第32-56页 |
| ·Web Crawler的总体设计 | 第32-36页 |
| ·Web Crawler的设计目标 | 第32-33页 |
| ·Web Crawler的总体架构 | 第33-34页 |
| ·Web Crawler的工作机制 | 第34-35页 |
| ·Web Crawler的拓扑 | 第35-36页 |
| ·Web Crawler的生命周期 | 第36页 |
| ·任务分配算法 | 第36-43页 |
| ·URL分配 | 第37-42页 |
| ·页而重复性检测 | 第42-43页 |
| ·Web Crawler中单节点设计 | 第43-46页 |
| ·单节点的工作流程 | 第43-44页 |
| ·单节点的系统结构设计 | 第44-46页 |
| ·系统各功能模块的设计 | 第46-51页 |
| ·网络控制模块的设计 | 第46-47页 |
| ·抓取模块的设计 | 第47-51页 |
| ·数据库设计 | 第51-53页 |
| ·用户兴趣库 | 第51-52页 |
| ·Web索引数据库 | 第52-53页 |
| ·系统开发工具 | 第53-54页 |
| ·本章小结 | 第54-56页 |
| 第4章 系统实现 | 第56-68页 |
| ·网络控制模块的实现 | 第56-58页 |
| ·节点任务分配实现 | 第56-57页 |
| ·节点通信的实现 | 第57-58页 |
| ·抓取模块的实现 | 第58-65页 |
| ·URL分析模块的实现 | 第58-59页 |
| ·下载模块的实现 | 第59-61页 |
| ·网页分析模块的实现 | 第61-62页 |
| ·兴趣匹配模块的实现 | 第62-64页 |
| ·存储模块的实现 | 第64-65页 |
| ·单节点任务下载的实现 | 第65-67页 |
| ·本章小结 | 第67-68页 |
| 第5章 实验测试及结果 | 第68-74页 |
| ·实验分组 | 第68页 |
| ·Web Crawler的负载平衡 | 第68-70页 |
| ·Web Crawler的可扩展性 | 第70-71页 |
| ·单机节点与并行节点性能比较 | 第71-72页 |
| ·本章小结 | 第72-74页 |
| 第6章 总结与展望 | 第74-76页 |
| ·工作总结 | 第74-75页 |
| ·工作展望 | 第75-76页 |
| 参考文献 | 第76-80页 |
| 致谢 | 第80页 |