博客资源的爬取与检索
摘要 | 第1-9页 |
ABSTRACT | 第9-11页 |
第1章 绪论 | 第11-17页 |
·系统开发背景 | 第11-12页 |
·国内外博客搜索引擎发展现状 | 第12-15页 |
·博客搜索引擎的原型 | 第12-14页 |
·国内外知名博客搜索引擎分析 | 第14-15页 |
·本文的主要工作 | 第15页 |
·本文的组织结构 | 第15-17页 |
第2章 系统架构设计 | 第17-38页 |
·博客搜索引擎系统需求分析 | 第17页 |
·系统设计目标和原则 | 第17-18页 |
·开发环境 | 第18页 |
·系统功能架构设计 | 第18-30页 |
·总体功能架构 | 第18-23页 |
·插件机制 | 第23-26页 |
·MapReduce分布式处理模型 | 第26-30页 |
·系统技术架构 | 第30-38页 |
·爬取设计 | 第30-33页 |
·索引和检索 | 第33-38页 |
第3章 系统详细设计 | 第38-56页 |
·重要模块详细设计 | 第38-53页 |
·爬取 | 第38-40页 |
·网页预处理 | 第40-45页 |
·分词处理 | 第40-41页 |
·网页去噪处理 | 第41-42页 |
·网页消重处理 | 第42页 |
·页面重要度计算 | 第42-45页 |
·文档解析 | 第45-47页 |
·索引和检索 | 第47-53页 |
·分布式处理和存储 | 第53-55页 |
·日志 | 第55-56页 |
第4章 系统实现与测试 | 第56-73页 |
·系统功能实现 | 第56-58页 |
·网页重要度计算 | 第58-61页 |
·正向最大匹配分词算法的实现 | 第61-62页 |
·执行脚本 | 第62-65页 |
·入链提取 | 第65-67页 |
·网页相似度计算 | 第67-70页 |
·系统测试结果与分析 | 第70-73页 |
第5章 结论 | 第73-74页 |
参考文献 | 第74-76页 |
致谢 | 第76-77页 |
学位论文评阅及答辩情况表 | 第77页 |