致谢 | 第5-6页 |
摘要 | 第6-7页 |
ABSTRACT | 第7-8页 |
1 绪论 | 第12-18页 |
1.1 研究背景及意义 | 第12-13页 |
1.2 国内外研究现状 | 第13-15页 |
1.2.1 国外研究现状 | 第13-14页 |
1.2.2 国内研究现状 | 第14-15页 |
1.3 论文主要工作 | 第15-16页 |
1.4 论文组织结构 | 第16-18页 |
2 相关技术简介 | 第18-32页 |
2.1 网络爬虫相关技术 | 第18-22页 |
2.1.1 网络爬虫基本原理 | 第18-19页 |
2.1.2 网络爬虫的类型 | 第19-20页 |
2.1.3 网络爬虫搜索策略 | 第20-22页 |
2.2 文本表示模型 | 第22-25页 |
2.2.1 向量空间模型 | 第23页 |
2.2.2 布尔模型 | 第23-24页 |
2.2.3 概率模型 | 第24-25页 |
2.3 搜索引擎相关技术 | 第25-28页 |
2.3.1 搜索引擎的体系结构 | 第25-26页 |
2.3.2 搜索引擎工作原理 | 第26-27页 |
2.3.3 搜索引擎评价指标 | 第27-28页 |
2.4 经典社区划分算法介绍 | 第28-30页 |
2.4.1 凝聚法 | 第28页 |
2.4.2 分裂法 | 第28-29页 |
2.4.3 谱算法 | 第29页 |
2.4.4 BGLL算法 | 第29-30页 |
2.5 本章小结 | 第30-32页 |
3 改进的LDA最优主题个数选取方法(C-LDA) | 第32-48页 |
3.1 引言 | 第32页 |
3.2 确定最优主题数 | 第32-35页 |
3.2.1 LDA主题模型 | 第33-34页 |
3.2.2 主题数重要性分析 | 第34-35页 |
3.2.3 最优主题数目选取方法 | 第35页 |
3.3 频繁词网络与社区划分 | 第35-38页 |
3.3.1 数据预处理 | 第35-37页 |
3.3.2 挖掘频繁词集 | 第37页 |
3.3.3 构建频繁词网络 | 第37页 |
3.3.4 基于模块度的社区划分 | 第37-38页 |
3.4 实验结果与分析 | 第38-46页 |
3.4.1 实验环境 | 第38页 |
3.4.2 实验数据 | 第38-39页 |
3.4.3 实验评价指标 | 第39-40页 |
3.4.4 实验设计与结果分析 | 第40-46页 |
3.5 本章小结 | 第46-48页 |
4 基于C-LDA的用户兴趣改进模型 | 第48-62页 |
4.1 引言 | 第48页 |
4.2 基于倒排索引(Lucene)的搜索引擎 | 第48-50页 |
4.2.1 Lucene基本原理 | 第49-50页 |
4.2.2 分词器 | 第50页 |
4.3 融合用户兴趣与Lucene的排序算法改进 | 第50-53页 |
4.3.1 用户兴趣重要性分析 | 第51页 |
4.3.2 C-LDA主题模型 | 第51-52页 |
4.3.3 用户兴趣建模 | 第52页 |
4.3.4 UCI-Lucene排序算法 | 第52-53页 |
4.4 实验结果与分析 | 第53-61页 |
4.4.1 实验环境 | 第53-54页 |
4.4.2 实验数据 | 第54-55页 |
4.4.3 实验评价指标 | 第55-56页 |
4.4.4 实验设计与结果分析 | 第56-61页 |
4.5 本章小结 | 第61-62页 |
5 基于用户兴趣的教育领域搜索引擎的研究与实现 | 第62-80页 |
5.1 总体架构 | 第62页 |
5.2 分布式爬虫系统的设计与实现 | 第62-71页 |
5.2.1 系统架构 | 第62-63页 |
5.2.2 控制服务器的设计 | 第63-65页 |
5.2.3 控制服务器的实现 | 第65-68页 |
5.2.4 爬虫服务器的设计 | 第68-69页 |
5.2.5 爬虫服务器的实现 | 第69-71页 |
5.3 教育领域搜索引擎的设计与实现 | 第71-74页 |
5.3.1 系统架构 | 第71-72页 |
5.3.2 索引模块的设计与实现 | 第72-73页 |
5.3.3 检索模块的设计与实现 | 第73-74页 |
5.3.4 用户兴趣模块的设计与实现 | 第74页 |
5.4 系统测试 | 第74-79页 |
5.4.1 注册模块测试 | 第74-75页 |
5.4.2 登录模块测试 | 第75-77页 |
5.4.3 监控模块测试 | 第77-78页 |
5.4.4 搜索模块测试 | 第78-79页 |
5.5 本章小结 | 第79-80页 |
6 总结与展望 | 第80-82页 |
6.1 总结 | 第80-81页 |
6.2 展望 | 第81-82页 |
参考文献 | 第82-86页 |
作者简历及攻读硕士期间取得的研究成果 | 第86-90页 |
学位论文数据集 | 第90页 |