基于在线视频用户数据的DMP系统的设计与实现
| 致谢 | 第5-6页 |
| 摘要 | 第6-7页 |
| ABSTRACT | 第7-8页 |
| 1 引言 | 第12-15页 |
| 1.1 项目背景及意义 | 第12页 |
| 1.2 DMP发展现状 | 第12-13页 |
| 1.3 本人工作总结 | 第13页 |
| 1.4 论文组织结构 | 第13-15页 |
| 2 关键技术介绍 | 第15-21页 |
| 2.1 HDFS功能介绍 | 第15-16页 |
| 2.2 Mapreduce框架介绍 | 第16-17页 |
| 2.3 Hive功能原理介绍 | 第17页 |
| 2.4 Spark功能原理介绍 | 第17-20页 |
| 2.5 Git的原理介绍 | 第20页 |
| 2.6 Jcseg分词工具 | 第20页 |
| 2.7 本章小结 | 第20-21页 |
| 3 DMP系统的可行性分析与需求分析 | 第21-29页 |
| 3.1 系统可行性分析 | 第21-22页 |
| 3.1.1 市场可行性分析 | 第21页 |
| 3.1.2 技术可行性分析 | 第21-22页 |
| 3.1.3 经济可行性分析 | 第22页 |
| 3.2 系统总体需求概述 | 第22-23页 |
| 3.3 系统功能需求分析 | 第23-27页 |
| 3.3.1 基础层模块功能需求 | 第24-25页 |
| 3.3.2 数据合并功能需求 | 第25页 |
| 3.3.3 人群筛选与投影功能需求 | 第25-27页 |
| 3.4 系统非功能需求分析 | 第27-28页 |
| 3.4.1 性能需求 | 第27页 |
| 3.4.2 可靠性需求 | 第27页 |
| 3.4.3 易用性需求 | 第27-28页 |
| 3.4.4 可扩展性需求 | 第28页 |
| 3.5 本章小结 | 第28-29页 |
| 4 系统概要设计 | 第29-34页 |
| 4.1 系统架构设计 | 第29-33页 |
| 4.1.1 基础层模块 | 第30-31页 |
| 4.1.2 数据合并模块 | 第31-32页 |
| 4.1.3 人群筛选与投影模块 | 第32-33页 |
| 4.2 本章小结 | 第33-34页 |
| 5 系统的详细设计与实现 | 第34-64页 |
| 5.1 基础层模块 | 第34-55页 |
| 5.1.1 标签体系设计 | 第34-36页 |
| 5.1.2 日志解析子模块设计 | 第36-40页 |
| 5.1.3 日志解析子模块的实现 | 第40-42页 |
| 5.1.4 用户频道偏好挖掘设计 | 第42-43页 |
| 5.1.5 用户频道偏好挖掘实现 | 第43-45页 |
| 5.1.6 用户偏好Top20子频道挖掘设计 | 第45页 |
| 5.1.7 用户偏好Top20子频道挖掘实现 | 第45-47页 |
| 5.1.8 用户广告关键词偏好挖掘设计 | 第47-49页 |
| 5.1.9 用户广告关键词偏好挖掘实现 | 第49-52页 |
| 5.1.10 Hive中的一个UDF函数的实现 | 第52页 |
| 5.1.11 数据清洗模块设计 | 第52-53页 |
| 5.1.12 数据清洗模块的实现 | 第53-55页 |
| 5.2 数据合并模块 | 第55-56页 |
| 5.2.1 数据合并模块的设计 | 第55页 |
| 5.2.2 数据合并模块的实现 | 第55-56页 |
| 5.3 人群筛选与投影模块的设计与实现 | 第56-63页 |
| 5.3.1 人群筛选管理设计 | 第56-58页 |
| 5.3.2 人群筛选管理接口层详细设计 | 第58-61页 |
| 5.3.3 人群投影管理设计 | 第61-62页 |
| 5.3.4 人群投影管理模块接口详细设计 | 第62-63页 |
| 5.4 本章小结 | 第63-64页 |
| 6 系统的测试与代码审查 | 第64-69页 |
| 6.1 功能测试 | 第64-68页 |
| 6.2 code review规则 | 第68页 |
| 6.3 本章小结 | 第68-69页 |
| 7 结论 | 第69-70页 |
| 参考文献 | 第70-72页 |
| 附录A | 第72-74页 |
| 作者简历 | 第74-76页 |
| 学位论文数据集 | 第76页 |
