基于Hadoop的微博用户影响力分析
摘要 | 第8-9页 |
ABSTRACT | 第9-10页 |
第1章 绪论 | 第11-23页 |
1.1 研究背景及意义 | 第11-12页 |
1.2 国内外研究现状 | 第12-15页 |
1.3 相关技术 | 第15-20页 |
1.4 主要工作 | 第20-21页 |
1.5 论文组织结构 | 第21-23页 |
第2章 系统概要设计 | 第23-27页 |
2.1 平台整体设计 | 第23-24页 |
2.2 数据采集模块 | 第24页 |
2.3 数据接入模块 | 第24-25页 |
2.4 数据分析模块 | 第25-26页 |
2.4.1 数据预处理 | 第25页 |
2.4.2 用户聚类 | 第25-26页 |
2.5 本章小结 | 第26-27页 |
第3章 系统详细设计 | 第27-37页 |
3.1 数据采集模块 | 第27-29页 |
3.1.1 数据结构 | 第27-28页 |
3.1.2 采集器设计 | 第28-29页 |
3.2 数据接入模块 | 第29-31页 |
3.2.1 非关系型数据库的数据接入 | 第29-30页 |
3.2.2 关系型数据库的数据接入 | 第30页 |
3.2.3 文件系统的数据接入 | 第30-31页 |
3.3 数据分析模块 | 第31-36页 |
3.3.1 数据预处理 | 第31-32页 |
3.3.2 数据结构 | 第32-34页 |
3.3.3 用户影响力评价模型 | 第34-35页 |
3.3.4 用户聚类算法 | 第35-36页 |
3.4 本章小结 | 第36-37页 |
第4章 系统实现 | 第37-53页 |
4.1 数据采集模块 | 第37-42页 |
4.1.1 Spider模块 | 第37-40页 |
4.1.2 IP代理模块 | 第40-41页 |
4.1.3 模拟登陆模块 | 第41-42页 |
4.2 数据接入模块 | 第42-44页 |
4.3 数据分析模块 | 第44-51页 |
4.3.1 生成基本表 | 第44页 |
4.3.2 表去重连接 | 第44-46页 |
4.3.3 合并相关表 | 第46页 |
4.3.4 实现聚类接口 | 第46-51页 |
4.4 本章小结 | 第51-53页 |
第5章 环境部署 | 第53-61页 |
5.1 CM平台搭建 | 第53-59页 |
5.1.1 集群分配 | 第53-54页 |
5.1.2 离线部署准备 | 第54-57页 |
5.1.3 部署CM Server | 第57-58页 |
5.1.4 分发CDH | 第58页 |
5.1.5 部署CDH服务 | 第58-59页 |
5.2 本章小结 | 第59-61页 |
第6章 总结和展望 | 第61-62页 |
参考文献 | 第62-64页 |
致谢 | 第64-65页 |
附件 | 第65页 |