IPv6信息采集系统的设计与实现
| 摘要 | 第1-6页 |
| Abstract | 第6-9页 |
| 第一章 绪论 | 第9-14页 |
| ·研究背景和意义 | 第9-11页 |
| ·国内外研究现状 | 第11-12页 |
| ·主要研究工作和内容 | 第12-13页 |
| ·论文组织结构 | 第13-14页 |
| 第二章 相关理论知识 | 第14-28页 |
| ·搜索引擎的基本原理 | 第14-16页 |
| ·搜索引擎简介 | 第14-15页 |
| ·搜索引擎的工作原理 | 第15-16页 |
| ·信息采集的基本原理 | 第16-22页 |
| ·URL 库 | 第16-17页 |
| ·礼貌采集 | 第17-19页 |
| ·遍历策略 | 第19-20页 |
| ·网页下载 | 第20-21页 |
| ·网页解析 | 第21页 |
| ·URL 去重 | 第21-22页 |
| ·URL 调度 | 第22页 |
| ·主题爬虫的原理 | 第22-24页 |
| ·网页分析算法 | 第24-26页 |
| ·基于链接结构的网页分析算法 | 第24-25页 |
| ·基于内容的网页分析算法 | 第25-26页 |
| ·本章总结 | 第26-28页 |
| 第三章 IPv6 信息采集系统的总体设计 | 第28-37页 |
| ·系统的设计目标 | 第28-29页 |
| ·系统的体系结构 | 第29-31页 |
| ·系统的模块组成 | 第31-33页 |
| ·系统的工作流程 | 第33-34页 |
| ·IPv6 采集策略 | 第34-36页 |
| ·本章总结 | 第36-37页 |
| 第四章 系统的详细设计与实现 | 第37-53页 |
| ·网页下载 | 第37-39页 |
| ·网页的存储 | 第39-40页 |
| ·网页的解析 | 第40-42页 |
| ·URL 过滤 | 第42-43页 |
| ·URL 去重 | 第43-44页 |
| ·站点链接指向关系 | 第44-45页 |
| ·系统缓存 | 第45-46页 |
| ·资源分布统计 | 第46-47页 |
| ·站点拓扑统计 | 第47-50页 |
| ·分布式节点间的通信 | 第50-52页 |
| ·本章总结 | 第52-53页 |
| 第五章 系统测试及分析 | 第53-64页 |
| ·系统测试环境 | 第53页 |
| ·系统的运行 | 第53-54页 |
| ·DNS 缓存性能的测试 | 第54页 |
| ·系统采集性能 | 第54-56页 |
| ·IPv6 资源的采集效果 | 第56-59页 |
| ·IPv6 资源分布统计 | 第59-62页 |
| ·IPv6 站点拓扑图 | 第62页 |
| ·本章总结 | 第62-64页 |
| 总结与展望 | 第64-65页 |
| 参考文献 | 第65-68页 |
| 攻读硕士学位期间取得的研究成果 | 第68-69页 |
| 致谢 | 第69-70页 |
| 答辩委员会对论文的评定意见 | 第70页 |
