垂直搜索引擎的研究与设计
摘要 | 第1-5页 |
ABSTRACT | 第5-8页 |
第一章 引言 | 第8-15页 |
·相关背景 | 第8-9页 |
·垂直搜索概述 | 第9-13页 |
·垂直搜索的特征 | 第10-11页 |
·垂直搜索的关键技术 | 第11-13页 |
·垂直搜索现状 | 第13页 |
·本文所做的工作 | 第13-15页 |
第二章 垂直搜索概要设计和网络爬虫技术 | 第15-27页 |
·系统简介 | 第15-16页 |
·网络爬虫基本原理 | 第16-19页 |
·网络爬虫概要 | 第16-17页 |
·抓取目标的描述 | 第17页 |
·网页搜索策略 | 第17-18页 |
·大型网络爬虫的问题 | 第18-19页 |
·垂直搜索中的网络爬虫技术 | 第19-27页 |
·相关的工作 | 第19页 |
·基于URL 规则的爬虫算法 | 第19-27页 |
第三章 一体化中文分词和结构化提取技术 | 第27-43页 |
·网页预处理 | 第27-28页 |
·统一编码 | 第27页 |
·噪声的识别和过滤 | 第27页 |
·整理 | 第27-28页 |
·结构化提取技术 | 第28-33页 |
·几个概念 | 第28-29页 |
·系统结构 | 第29-30页 |
·对等节点的识别 | 第30页 |
·对等矩阵的排列 | 第30-31页 |
·模式发掘 | 第31-32页 |
·可选节点归并 | 第32页 |
·数据格式检测 | 第32-33页 |
·暗藏网页的信息抽取 | 第33-34页 |
·论坛页面的抓取与抽取 | 第34页 |
·中文分词 | 第34-43页 |
·概述 | 第34-37页 |
·整体设计 | 第37页 |
·词典机制和词典查询算法 | 第37-39页 |
·基于最长路径的统计模型 | 第39页 |
·停用词去除 | 第39页 |
·新词发现 | 第39-43页 |
第四章 系统设计与实现 | 第43-63页 |
·爬虫设计 | 第43-50页 |
·网页处理模块设计 | 第50-52页 |
·中文分词模块的设计 | 第52-55页 |
·索引及检索系统的设计 | 第55-61页 |
·搜索系统评测 | 第61页 |
·本章小结 | 第61-63页 |
第五章 总结与展望 | 第63-65页 |
·总结 | 第63页 |
·发展方向 | 第63-65页 |
参考文献 | 第65-68页 |
致谢 | 第68-69页 |
攻硕期间取得的研究成果 | 第69-70页 |