基于Hadoop的分布式搜索引擎研究与实现
| 摘要 | 第1-5页 |
| ABSTRACT | 第5-11页 |
| 第一章 绪论 | 第11-15页 |
| ·课题研究背景 | 第11-12页 |
| ·搜索引擎的发展 | 第12-13页 |
| ·分布式搜索引擎研究现状 | 第13-14页 |
| ·本文的研究内容及论文章节安排 | 第14-15页 |
| 第二章 分布式搜索引擎相关技术分析 | 第15-33页 |
| ·分布式计算技术 | 第15-19页 |
| ·Map/Reduce 编程模型 | 第15-16页 |
| ·Hadoop 平台简介 | 第16-17页 |
| ·HDFS 分布式文件系统 | 第17-18页 |
| ·Hadoop 分布式计算引擎 | 第18-19页 |
| ·倒排文档全文检索技术 | 第19-26页 |
| ·索引技术 | 第19-20页 |
| ·倒排文档索引原理 | 第20-21页 |
| ·Lucene 框架结构 | 第21-23页 |
| ·Lucene 索引机制 | 第23-24页 |
| ·Lucene 文件系统 | 第24-26页 |
| ·中文分词 | 第26-28页 |
| ·中文分词方法 | 第26-27页 |
| ·中文分词的难点 | 第27-28页 |
| ·统一资源定位符 | 第28页 |
| ·MD5 算法 | 第28-29页 |
| ·ROBOTS 协议 | 第29-31页 |
| ·相关工具软件 | 第31-32页 |
| ·HttpClient | 第31页 |
| ·HTMLParser | 第31页 |
| ·Log4j | 第31页 |
| ·Cygwin | 第31-32页 |
| ·本章小结 | 第32-33页 |
| 第三章 分布式搜索引擎的设计 | 第33-41页 |
| ·系统总体结构 | 第33-35页 |
| ·业务子系统设计 | 第35-37页 |
| ·分布式爬行子系统的设计 | 第35-36页 |
| ·分布式索引子系统的设计 | 第36-37页 |
| ·分布式查询子系统的设计 | 第37页 |
| ·子系统内部执行流程 | 第37-39页 |
| ·爬行流程 | 第37-38页 |
| ·索引步骤 | 第38-39页 |
| ·用户查询响应 | 第39页 |
| ·本章小结 | 第39-41页 |
| 第四章 分布式搜索引擎的实现 | 第41-59页 |
| ·分布式爬行子系统的实现 | 第41-49页 |
| ·子系统主要模块划分 | 第41页 |
| ·URL 选择与分割模块 | 第41-42页 |
| ·分布式网页获取模块 | 第42-44页 |
| ·分布式网页解析模块 | 第44-46页 |
| ·链接过滤模块 | 第46-47页 |
| ·分布式数据存储模块 | 第47-49页 |
| ·分布式索引子系统的实现 | 第49-55页 |
| ·多格式文档统一处理模块 | 第49-50页 |
| ·中文分词模块 | 第50-51页 |
| ·网页评分模块 | 第51-53页 |
| ·分布式索引生成模块 | 第53-55页 |
| ·分布式查询子系统的实现 | 第55-58页 |
| ·前台查询界面 | 第55-56页 |
| ·分布式查询器模块 | 第56-58页 |
| ·本章小结 | 第58-59页 |
| 第五章 系统测试与分析 | 第59-67页 |
| ·实验环境 | 第59页 |
| ·分布式搜索引擎配置 | 第59-62页 |
| ·SSH 服务配置 | 第59-60页 |
| ·Hadoop 核心模块配置 | 第60-62页 |
| ·测试数据分析 | 第62-65页 |
| ·系统性能测试 | 第62-63页 |
| ·系统可靠性测试 | 第63-64页 |
| ·系统扩展性测试 | 第64-65页 |
| ·中文分词测试 | 第65页 |
| ·本章小结 | 第65-67页 |
| 第六章 总结与展望 | 第67-69页 |
| ·工作总结 | 第67页 |
| ·展望 | 第67-69页 |
| 参考文献 | 第69-71页 |
| 致谢 | 第71-73页 |
| 攻读硕士学位期间发表的学术论文目录 | 第73页 |
