摘要 | 第5-6页 |
Abstract | 第6页 |
第一章 前言 | 第7-19页 |
1.1 研究背景 | 第7-8页 |
1.2 垂直搜索引擎相关技术介绍 | 第8-15页 |
1.2.1 搜索引擎基本模块 | 第8-10页 |
1.2.2 网络爬虫 | 第10-11页 |
1.2.3 搜索引擎的索引 | 第11-12页 |
1.2.4 Lucene全文检索框架 | 第12-14页 |
1.2.5 文本挖掘 | 第14-15页 |
1.3 发展现状 | 第15-17页 |
1.4 本文主要内容和安排 | 第17-19页 |
第二章 基于Heritrix的主题网络爬虫设计 | 第19-28页 |
2.1 Heritrix爬虫概述 | 第19-21页 |
2.2 Heritrix爬虫队列改进 | 第21-22页 |
2.3 定制Heritrix爬取规则 | 第22-28页 |
第三章 新闻文本分类算法 | 第28-41页 |
3.1 文本分类算法概述 | 第28-29页 |
3.2 基于支持向量机的不均衡文本分类方法 | 第29-40页 |
3.2.1 理论介绍 | 第29-34页 |
3.2.2 基于支持向量机的文本分类算法优化 | 第34-37页 |
3.2.3 实验与结果分析 | 第37-40页 |
3.3 结论 | 第40-41页 |
第四章 一种基于网页主题相关度和更新频率的PageRank算法 | 第41-51页 |
4.1 网页排序算法概述 | 第41-43页 |
4.2 对PageRank算法的改进 | 第43-47页 |
4.3 仿真实验 | 第47-50页 |
4.3.1 实验说明 | 第47-48页 |
4.3.2 结果分析 | 第48-50页 |
4.4 结论 | 第50-51页 |
第五章 面向新闻领域的小型垂直搜索引擎分析与设计 | 第51-60页 |
5.1 功能需求 | 第51页 |
5.2 模块组成 | 第51-55页 |
5.3 系统结构 | 第55-60页 |
第六章 面向新闻领域的小型垂直搜索引擎实现 | 第60-86页 |
6.1 开发环境 | 第60-61页 |
6.2 新闻搜索引擎数据库设计 | 第61页 |
6.3 网络爬虫模块的实现 | 第61-66页 |
6.3.1 种子站点管理程序 | 第63页 |
6.3.2 新闻爬虫管理程序 | 第63-64页 |
6.3.3 网页爬取状态程序 | 第64-65页 |
6.3.4 新闻网页管理程序 | 第65-66页 |
6.4 文本分类模块的实现 | 第66-73页 |
6.4.1 文本训练集管理程序 | 第67-68页 |
6.4.2 文本预处理程序 | 第68-69页 |
6.4.3 分类模型程序 | 第69-73页 |
6.5 PageRank模块的实现 | 第73-75页 |
6.5.1 网络链接结构图生成程序 | 第74-75页 |
6.5.2 PageRank计算程序 | 第75页 |
6.6 中文分词模块的实现 | 第75-77页 |
6.7 索引建立模块的实现 | 第77-81页 |
6.7.1 配置文件读取程序 | 第78-79页 |
6.7.2 数据索引建立程序 | 第79-81页 |
6.8 检索模块的实现 | 第81-85页 |
6.8.1 查询条件处理程序 | 第82-83页 |
6.8.2 信息查询程序 | 第83-84页 |
6.8.3 查询结果优化程序 | 第84-85页 |
6.9 结论 | 第85-86页 |
第七章 总结与展望 | 第86-88页 |
7.1 总结 | 第86-87页 |
7.2 展望 | 第87-88页 |
致谢 | 第88-89页 |
参考文献 | 第89-94页 |
作者简介 | 第94页 |