基于Nutch的分布式搜索引擎的研究与优化
| 摘要 | 第1-5页 |
| Abstract | 第5-10页 |
| 第1章 绪论 | 第10-14页 |
| ·研究背景及意义 | 第10-11页 |
| ·研究现状 | 第11-12页 |
| ·Hadoop研究现状 | 第11页 |
| ·搜索引擎的研究现状 | 第11-12页 |
| ·研究目标和内容 | 第12-13页 |
| ·论文的组织结构 | 第13-14页 |
| 第2章 Nutch框架和Hadoop分布式平台 | 第14-28页 |
| ·Nutch概述 | 第14页 |
| ·Nutch工作原理 | 第14-20页 |
| ·Nutch工作流程 | 第15-19页 |
| ·Nutch的插件机制 | 第19-20页 |
| ·Nutch中的中文分词模块 | 第20-21页 |
| ·Hadoop分布式计算平台 | 第21-25页 |
| ·Hadoop概述 | 第21-22页 |
| ·HDFS分布式文件系统 | 第22-24页 |
| ·Map/Reduce编程模型 | 第24-25页 |
| ·索引技术 | 第25-27页 |
| ·索引概述 | 第25-26页 |
| ·倒排索引 | 第26-27页 |
| ·本章小结 | 第27-28页 |
| 第3章 分布式爬虫研究 | 第28-45页 |
| ·网络爬虫原理 | 第28-29页 |
| ·分布式爬虫的结构分析 | 第29-30页 |
| ·爬虫抓取信息策略 | 第30-32页 |
| ·经典爬虫算法 | 第32-34页 |
| ·提高抓取性能的技术 | 第34-35页 |
| ·任务分配算法 | 第35-42页 |
| ·动态哈希映射模式 | 第35-36页 |
| ·一级哈希映射算法 | 第36-37页 |
| ·二级哈希映射算法 | 第37-38页 |
| ·可扩展的哈希映射算法 | 第38-42页 |
| ·Lucence技术 | 第42-44页 |
| ·Lucene的系统结构 | 第42-44页 |
| ·Lucene应用于日志搜索 | 第44页 |
| ·本章小结 | 第44-45页 |
| 第4章 分布式搜索系统的设计 | 第45-58页 |
| ·分布式搜索引擎总体结构设计 | 第46页 |
| ·信息采集模块 | 第46-48页 |
| ·索引模块 | 第48-51页 |
| ·索引模块分析 | 第48-49页 |
| ·索引模块功能 | 第49-50页 |
| ·任务分配粒度 | 第50-51页 |
| ·搜索模块 | 第51-52页 |
| ·中文分词模块 | 第52-57页 |
| ·基于Nutch的中文分词模块 | 第52-53页 |
| ·对中文分词模块的改进 | 第53-57页 |
| ·本章小结 | 第57-58页 |
| 第5章 分布式搜索系统的实现和结果分析 | 第58-74页 |
| ·分布式搜索系统的环境搭建 | 第58-62页 |
| ·软硬件配置 | 第58-62页 |
| ·系统安装说明 | 第62页 |
| ·Ganglia检测系统 | 第62-64页 |
| ·Ganglia系统原理 | 第62-64页 |
| ·Ganglia功能 | 第64页 |
| ·测试说明 | 第64-66页 |
| ·测试目的 | 第64-65页 |
| ·测试数据来源 | 第65-66页 |
| ·实验与结果分析 | 第66-72页 |
| ·搜索覆盖率测试 | 第66-68页 |
| ·误搜索频率测试 | 第68页 |
| ·索引更新周期的测试 | 第68-70页 |
| ·系统的可靠性测试 | 第70-72页 |
| ·系统实用性测试 | 第72页 |
| ·本章小结 | 第72-74页 |
| 第6章 全文总结和研究展望 | 第74-76页 |
| ·总结 | 第74页 |
| ·展望 | 第74-76页 |
| 致谢 | 第76-77页 |
| 参考文献 | 第77-79页 |
