搜索引擎中Crawler的设计、实现与扩展优化
| 摘要 | 第1-5页 |
| ABSTRACT | 第5-10页 |
| 第一章 绪论 | 第10-16页 |
| ·课题背景 | 第10页 |
| ·搜索引擎的概念 | 第10页 |
| ·搜索引擎的发展历史 | 第10-14页 |
| ·国内外研究现状与未来趋势 | 第14-15页 |
| ·工作意义和论文安排 | 第15-16页 |
| 第二章 搜索引擎综合研究分析 | 第16-29页 |
| ·搜索引擎的分类 | 第16-18页 |
| ·基于网络爬虫的搜索引擎 | 第16-17页 |
| ·基于目录的搜索引擎 | 第17页 |
| ·元搜索引擎 | 第17-18页 |
| ·搜索引擎的结构分析 | 第18-19页 |
| ·搜索引擎的原理分析 | 第19-20页 |
| ·搜索引擎的关键技术分析 | 第20-28页 |
| ·Index 技术 | 第20页 |
| ·search 技术 | 第20页 |
| ·网页爬取技术 | 第20-21页 |
| ·用户UI | 第21页 |
| ·网页质量评估方法 | 第21-23页 |
| ·PageRank 算法 | 第21-22页 |
| ·HITS 算法及其变种 | 第22-23页 |
| ·词法分析理论 | 第23-24页 |
| ·中文分词技术 | 第24页 |
| ·文件倒排技术 | 第24-27页 |
| ·Boolean 理论 | 第27-28页 |
| ·本章小结 | 第28-29页 |
| 第三章 网页爬虫子系统的设计、实现与优化 | 第29-68页 |
| ·设计目标 | 第29页 |
| ·相关背景知识 | 第29-35页 |
| ·超文本传输协议 | 第29-31页 |
| ·统一资源定位 | 第31-32页 |
| ·HTML 页面分析 | 第32-35页 |
| ·HTML 中的标签 | 第32-34页 |
| ·页面链接的提取 | 第34-35页 |
| ·子系统实现的功能 | 第35-36页 |
| ·系统流程与核心功能封装 | 第36-52页 |
| ·统一资源定位设计与封装 | 第37-40页 |
| ·问题抽象 | 第37页 |
| ·细节描述 | 第37-40页 |
| ·页面解析设计与封装 | 第40-42页 |
| ·问题抽象 | 第40页 |
| ·细节描述 | 第40-42页 |
| ·网页下载设计与封装 | 第42-45页 |
| ·问题抽象 | 第42页 |
| ·细节描述 | 第42-45页 |
| ·磁盘文件读写的设计与封装 | 第45页 |
| ·问题抽象 | 第45页 |
| ·细节描述 | 第45页 |
| ·网络爬虫的设计与封装 | 第45-52页 |
| ·问题抽象 | 第45-46页 |
| ·细节描述 | 第46-50页 |
| ·多线程下载 | 第50-52页 |
| ·扩展与优化 | 第52-66页 |
| ·系统的增量式扩展及其实现 | 第52-56页 |
| ·增量式模型 | 第52-54页 |
| ·增量式实现 | 第54-56页 |
| ·分布式扩展及其实现 | 第56-59页 |
| ·下载结点的扩展 | 第56-57页 |
| ·控制协调结点 | 第57-58页 |
| ·下载结点的任务分配 | 第58-59页 |
| ·磁盘存储扩展 | 第59-62页 |
| ·存储框架扩展方案 | 第59-61页 |
| ·数据恢复初探 | 第61-62页 |
| ·网页权值计算 | 第62-66页 |
| ·PageRank 算法概述 | 第62-64页 |
| ·PageRank 在系统中的实现 | 第64-66页 |
| ·搜索算法及其优化 | 第66页 |
| ·本章小结 | 第66-68页 |
| 第四章 索引器与搜索器的设计 | 第68-73页 |
| ·索引器的设计 | 第68-71页 |
| ·设计流程 | 第68页 |
| ·正文提取 | 第68-69页 |
| ·分词 | 第69-71页 |
| ·创建正、反向索引文件 | 第71页 |
| ·搜索器的设计 | 第71-72页 |
| ·布尔查询 | 第71-72页 |
| ·搜索倒排表形成结果 | 第72页 |
| ·本章小结 | 第72-73页 |
| 第五章 系统测试与分析 | 第73-76页 |
| ·单主机多线程爬行测试 | 第73页 |
| ·分布式爬行测试 | 第73-74页 |
| ·单机与分布式的比较 | 第74页 |
| ·增量式爬行命中率测试 | 第74-75页 |
| ·本章小结 | 第75-76页 |
| 第六章 总结 | 第76-78页 |
| ·总结 | 第76页 |
| ·进一步的工作 | 第76-78页 |
| 致谢 | 第78-79页 |
| 参考文献 | 第79-82页 |
| 作者攻硕期间取得的成果 | 第82-83页 |
