摘要 | 第4-5页 |
ABSTRACT | 第5-6页 |
第1章 绪论 | 第10-16页 |
1.1 课题研究背景和意义 | 第10-11页 |
1.2 国内外研究现状 | 第11-15页 |
1.2.1 网页分类研究现状 | 第11-12页 |
1.2.2 用户兴趣建模研究现状 | 第12-13页 |
1.2.3 用户属性建模研究现状 | 第13-14页 |
1.2.4 国内外研究现状简析 | 第14-15页 |
1.3 本文工作内容及组织结构 | 第15-16页 |
第2章 基于URL的网页分类算法研究 | 第16-33页 |
2.1 基于URL的网页分类相关技术 | 第16-21页 |
2.1.1 URL组成分析 | 第16-17页 |
2.1.2 URL分词方法分析 | 第17-18页 |
2.1.3 特征提取方法分析 | 第18-19页 |
2.1.4 分类器选取 | 第19-21页 |
2.1.5 基于URL的网页分类算法现状简析 | 第21页 |
2.2 基于N-gram语言模型的URL分类算法研究 | 第21-27页 |
2.2.1 N-gram语言模型原理 | 第21-23页 |
2.2.2 数据平滑技术 | 第23-24页 |
2.2.3 基于N-gram语言模型的URL分类器 | 第24-25页 |
2.2.4 参数调优 | 第25-26页 |
2.2.5 评估指标 | 第26-27页 |
2.3 算法测试与分析 | 第27-32页 |
2.3.1 基于Web KB数据集的分类测试 | 第27-30页 |
2.3.2 基于DMOZ数据集的分类测试 | 第30-32页 |
2.4 本章小结 | 第32-33页 |
第3章 基于URL的用户兴趣建模技术研究 | 第33-47页 |
3.1 用户兴趣建模相关技术 | 第33-36页 |
3.1.1 用户兴趣信息获取 | 第33-34页 |
3.1.2 用户兴趣模型表示 | 第34-35页 |
3.1.3 用户兴趣建模方法 | 第35页 |
3.1.4 用户兴趣模型评价 | 第35-36页 |
3.2 基于URL的用户兴趣建模框架 | 第36页 |
3.3 用户兴趣信息获取方法设计 | 第36-40页 |
3.3.1 用户兴趣信息获取途径分析 | 第36-38页 |
3.3.2 基于URL的用户兴趣信息获取方法 | 第38-40页 |
3.4 用户兴趣模型表示方法设计 | 第40-41页 |
3.5 用户兴趣模型构建方法设计 | 第41-43页 |
3.6 模型评价 | 第43-44页 |
3.6.1 标准答案的确定 | 第43-44页 |
3.6.2 评价指标计算 | 第44页 |
3.7 实验与分析 | 第44-45页 |
3.8 本章小结 | 第45-47页 |
第4章 基于URL的用户属性建模技术研究 | 第47-63页 |
4.1 用户属性基础 | 第47-48页 |
4.1.1 用户属性定义 | 第47页 |
4.1.2 用户属性信息来源 | 第47-48页 |
4.2 基于URL的用户属性建模框架设计 | 第48-49页 |
4.3 基于URL的用户属性信息获取方法 | 第49-52页 |
4.3.1 基于URL的属性信息获取可行性分析 | 第49-50页 |
4.3.2 基于URL的用户属性信息获取方法框架 | 第50页 |
4.3.3 URL规则库构建 | 第50-51页 |
4.3.4 基于URL的用户属性提取方法 | 第51-52页 |
4.4 用户属性模型表示方法设计 | 第52-53页 |
4.5 用户属性模型构建方法设计 | 第53-54页 |
4.6 用户属性模型更新方法设计 | 第54-56页 |
4.7 并行化方案设计 | 第56-59页 |
4.7.1 Hadoop Streaming及mrjob简介 | 第56-57页 |
4.7.2 用户属性建模并行化方案 | 第57-59页 |
4.8 实验与分析 | 第59-61页 |
4.8.1 用户属性建模方法测试 | 第59-60页 |
4.8.2 用户属性建模并行化方案测试 | 第60-61页 |
4.9 本章小结 | 第61-63页 |
第5章 原型系统的设计与实现 | 第63-77页 |
5.1 UPMBL系统结构设计 | 第63页 |
5.2 日志读取模块的设计与实现 | 第63-65页 |
5.2.1 日志存储层设计 | 第64-65页 |
5.2.2 日志读取模块设计 | 第65页 |
5.3 用户兴趣建模模块的设计与实现 | 第65-69页 |
5.3.1 URL主题分类模块 | 第66-68页 |
5.3.2 用户兴趣构建模块 | 第68-69页 |
5.4 用户属性建模模块的设计与实现 | 第69-71页 |
5.4.1 基于URL的用户属性获取模块 | 第69-71页 |
5.4.2 用户属性模型构建模块 | 第71页 |
5.4.3 用户属性更新模块 | 第71页 |
5.5 系统整体测试 | 第71-76页 |
5.5.1 系统测试环境 | 第71-72页 |
5.5.2 数据存储与读取测试 | 第72页 |
5.5.3 用户主题兴趣挖掘测试 | 第72-73页 |
5.5.4 用户属性挖掘测试 | 第73-76页 |
5.6 本章小结 | 第76-77页 |
结论 | 第77-78页 |
参考文献 | 第78-83页 |
致谢 | 第83页 |