基于Map/Reduce的分布式Web服务搜索引擎研究与实现
| 摘要 | 第1-6页 |
| ABSTRACT | 第6-10页 |
| 第一章 绪论 | 第10-18页 |
| ·课题研究背景 | 第10-12页 |
| ·国内外研究现状 | 第12-14页 |
| ·课题研究意义和创新点 | 第14-15页 |
| ·课题支持项目 | 第15页 |
| ·论文章节安排 | 第15-18页 |
| 第二章 相关概念综述 | 第18-28页 |
| ·Map/Reduce 技术 | 第18-22页 |
| ·Map/Reduce 介绍 | 第18-19页 |
| ·Hadoop 介绍 | 第19-22页 |
| ·Web 服务综述 | 第22-25页 |
| ·传统 Web 服务技术介绍 | 第22-24页 |
| ·Web API 介绍 | 第24-25页 |
| ·搜索引擎综述 | 第25-28页 |
| 第三章 搜索引擎研究 | 第28-46页 |
| ·分布式 Web 服务搜索概述 | 第28-29页 |
| ·搜索引擎关键技术研究 | 第29-31页 |
| ·初始种子选择策略 | 第29-30页 |
| ·互联网信息采集 | 第30-31页 |
| ·URL 优先级算法研究 | 第31-35页 |
| ·基于网页粒度的待抓取 URL 优先级计算 | 第32-34页 |
| ·基于网站粒度的待抓取 URL 优先级计算 | 第34-35页 |
| ·基于 URL 粒度的待抓取 URL 优先级计算 | 第35页 |
| ·基于多粒度的待抓取 URL 优先级计算 | 第35页 |
| ·搜索引擎体系架构 | 第35-37页 |
| ·传统 Web 服务的抓取方法 | 第37-41页 |
| ·传统 Web 服务结构化特征 | 第37-38页 |
| ·主题爬虫设计 | 第38-39页 |
| ·WSDL 解析模块设计 | 第39-40页 |
| ·结合通用搜索引擎 | 第40-41页 |
| ·Web API 的抓取方法 | 第41-44页 |
| ·Web API 主页特点分析 | 第41-43页 |
| ·抓取模型构建 | 第43-44页 |
| ·搜索引擎客户端设计 | 第44-45页 |
| ·本章小结 | 第45-46页 |
| 第四章 搜索引擎实现 | 第46-56页 |
| ·网络爬虫模块 | 第46-52页 |
| ·Web 服务爬虫模块的实现 | 第46-52页 |
| ·Web API 爬虫模块的实现 | 第52页 |
| ·服务端的设计 | 第52-53页 |
| ·索引部分 | 第53页 |
| ·查询客户端 | 第53页 |
| ·本章小结 | 第53-56页 |
| 第五章 实验与结果分析 | 第56-64页 |
| ·系统配置 | 第56-59页 |
| ·传统 Web 服务搜索结果统计 | 第59-62页 |
| ·Web API 搜索结果统计 | 第62页 |
| ·本章小结 | 第62-64页 |
| 第六章 总结与展望 | 第64-66页 |
| ·已完成工作总结 | 第64-65页 |
| ·下一步工作展望 | 第65-66页 |
| 参考文献 | 第66-70页 |
| 致谢 | 第70-72页 |
| 附录 A(攻读硕士期间学术成果) | 第72-74页 |
| 附录 B(攻读硕士期间参与项目) | 第74页 |
