摘要 | 第4-5页 |
ABSTRACT | 第5-6页 |
第1章 绪论 | 第10-15页 |
1.1 课题背景及研究的目的和意义 | 第10-11页 |
1.2 与本课题有关的国内外研究状况 | 第11-13页 |
1.3 本文的主要研究内容 | 第13-15页 |
1.3.1 本文的研究思路及拟达到的效果 | 第13-14页 |
1.3.2 文章的框架结构 | 第14-15页 |
第2章 相关理论与技术概述 | 第15-22页 |
2.1 数据仓库相关理论基础 | 第15-17页 |
2.1.1 数据仓库的兴起 | 第15页 |
2.1.2 数据仓库的特点 | 第15-16页 |
2.1.3 经典数据仓库的结构体系 | 第16-17页 |
2.2 HADOOP核心技术 | 第17-21页 |
2.2.1 HDFS文件存储系统 | 第17-19页 |
2.2.2 MapReduce计算模型 | 第19-20页 |
2.2.3 Hive理论基础 | 第20-21页 |
2.3 FEED流简单介绍 | 第21页 |
2.4 本章小结 | 第21-22页 |
第3章 FEED用户行为数据仓库需求分析 | 第22-32页 |
3.1 业务及数据流分析 | 第22-25页 |
3.1.1 Feed产品形态分析 | 第22-23页 |
3.1.2 Feed日志源分析 | 第23-24页 |
3.1.3 Feed用户行为数据仓库数据流分析 | 第24-25页 |
3.2 FEED用户行为数据仓库需求分析 | 第25-29页 |
3.2.1 Feed用户行为数据仓库需求分析 | 第25-27页 |
3.2.2 数据维度分析 | 第27-29页 |
3.3 FEED用户行为数据仓库ETL分析 | 第29页 |
3.4 课题实施所需的条件及关键技术分析 | 第29-31页 |
3.4.1 课题实施所需的条件 | 第29-30页 |
3.4.2 关键技术 | 第30-31页 |
3.5 本章小结 | 第31-32页 |
第4章 FEED用户行为数据仓库设计 | 第32-41页 |
4.1 FEED用户行为数据仓库架构设计 | 第32-35页 |
4.1.1 Feed用户行为数据仓库架构设计 | 第32-33页 |
4.1.2 手机百度端Feed基础数据大表ETL流程设计 | 第33-34页 |
4.1.3 Wise首页端Feed基础数据大表ETL流程设计 | 第34-35页 |
4.1.4 主题数据设计 | 第35页 |
4.2 FEED基础数据表数据模型设计 | 第35-40页 |
4.2.1 星形模式设计 | 第35-37页 |
4.2.2 基础信息设计 | 第37-38页 |
4.2.3 表结构设计 | 第38-39页 |
4.2.4 存储设计 | 第39-40页 |
4.3 本章小结 | 第40-41页 |
第5章 FEED用户行为数据仓库实现 | 第41-53页 |
5.1 明细层数据的实现 | 第41-49页 |
5.1.1 数据抽取 | 第42-44页 |
5.1.2 数据转化和数据加载 | 第44-49页 |
5.1.3 Feed基础数表创建 | 第49页 |
5.2 数据主题层实现 | 第49-51页 |
5.3 展现报表配置 | 第51-52页 |
5.4 本章小结 | 第52-53页 |
第6章 FEED用户行为数据仓库的测试及运行 | 第53-57页 |
6.1 测试方案 | 第53-54页 |
6.2 基础数据大表的数据误差检验 | 第54页 |
6.3 数据延迟测试 | 第54页 |
6.4 测试结果与分析 | 第54-55页 |
6.5 FEED用户行为数据仓库在线运行与应用 | 第55-56页 |
6.6 本章小结 | 第56-57页 |
结论 | 第57-59页 |
参考文献 | 第59-63页 |
致谢 | 第63-64页 |
个人简历 | 第64页 |