土豆网视频搜索引擎系统的设计与实现
摘要 | 第5-7页 |
ABSTRACT | 第7-8页 |
1 绪论 | 第12-16页 |
1.1 互联网视频搜索的现状 | 第12-13页 |
1.2 本文的研究内容 | 第13-14页 |
1.3 本文的结构安排 | 第14-16页 |
2 网络视频搜索引擎相关技术 | 第16-30页 |
2.1 搜索引擎技术介绍 | 第16-18页 |
2.2 垂直搜索技术 | 第18-19页 |
2.3 Lucene 全文搜索框架 | 第19-22页 |
2.3.1 Lucene 的索引和搜索的基本原理 | 第20-21页 |
2.3.2 用Lucene 建立索引 | 第21页 |
2.3.3 用Lucene 进行搜索 | 第21-22页 |
2.4 中文分词技术 | 第22-23页 |
2.4.1 正向和逆向最大匹配分词 | 第22-23页 |
2.4.2 基于统计的分词方法 | 第23页 |
2.5 分布式搜索引擎系统架构 | 第23-25页 |
2.5.1 分布式元搜索引擎 | 第24页 |
2.5.2 散列式分布搜索引擎 | 第24-25页 |
2.6 内存缓存技术 | 第25-27页 |
2.7 Web 缓存技术 | 第27-30页 |
3 视频搜索引擎的架构设计 | 第30-49页 |
3.1 视频搜索引擎的需求概述 | 第30页 |
3.2 视频搜索引擎系统设计的目标 | 第30-31页 |
3.3 系统的总体模块划分 | 第31-32页 |
3.4 视频搜索架构设计 | 第32-33页 |
3.5 视频搜索系统的集群设计 | 第33-36页 |
3.6 搜索索引层的处理流程 | 第36-38页 |
3.7 搜索查询层的处理流程 | 第38-40页 |
3.8 搜索展示层的处理流程 | 第40-42页 |
3.9 中文分词的设计 | 第42-45页 |
3.9.1 分词方法的设计 | 第44-45页 |
3.10 视频排序算法的设计 | 第45-49页 |
3.10.1 算法设计的目标 | 第45页 |
3.10.2 视频排序指标的选取 | 第45-46页 |
3.10.3 排序指标得分的计算公式 | 第46-48页 |
3.10.4 综合得分的计算公式 | 第48-49页 |
4 视频搜索引擎的实现 | 第49-66页 |
4.1 视频搜索系统架构的实现 | 第49-50页 |
4.2 模块间通信协议 | 第50-51页 |
4.3 索引层的实现 | 第51-56页 |
4.3.1 视频数据获取的实现 | 第52-53页 |
4.3.2 创建索引的实现 | 第53-56页 |
4.4 查询层的实现 | 第56-60页 |
4.4.1 查询接口的实现 | 第57-58页 |
4.4.2 查询处理的实现 | 第58-59页 |
4.4.3 查询过滤的实现 | 第59页 |
4.4.4 查询排序的实现 | 第59-60页 |
4.5 展示层的实现 | 第60-63页 |
4.5.1 展示页面的实现 | 第61-62页 |
4.5.2 入口URL 的实现 | 第62-63页 |
4.6 中文分词器的实现 | 第63-65页 |
4.7 视频排序算法的实现 | 第65-66页 |
4.7.1 排序指标数据获取 | 第65-66页 |
4.7.2 指标得分计算 | 第66页 |
4.7.3 综合得分的计算 | 第66页 |
5 视频搜索引擎的测试与验证 | 第66-79页 |
5.1 视频搜索的功能测试 | 第66-69页 |
5.2 视频搜索的统计数据 | 第69-70页 |
5.3 视频排序效果的对比 | 第70-72页 |
5.4 分词模块的性能测试数据 | 第72页 |
5.5 索引的性能测试数据 | 第72页 |
5.6 索引服务器的运行状况 | 第72-73页 |
5.7 查询服务器的运行状况 | 第73-74页 |
5.8 展示服务器的运行状况 | 第74-75页 |
5.9 Memcached 的性能验证和监控指标 | 第75-77页 |
5.10 Squid 服务器的性能验证和监控指标 | 第77-79页 |
6 总结 | 第79-81页 |
参考文献 | 第81-83页 |
致谢 | 第83-84页 |
攻读学位期间发表的学术论文目录 | 第84-86页 |