基于Spark的社交网络数据分析平台
| 摘要 | 第8-9页 |
| ABSTRACT | 第9-10页 |
| 第1章 绪论 | 第11-15页 |
| 1.1 开发背景及意义 | 第11-12页 |
| 1.2 国内外研究现状 | 第12-13页 |
| 1.3 开发的目标 | 第13-14页 |
| 1.4 本论文的组织与结构 | 第14-15页 |
| 第2章 数据分析平台概述 | 第15-19页 |
| 2.1 需求描述 | 第15-16页 |
| 2.2 相关技术简介 | 第16-17页 |
| 2.3 架构设计 | 第17-19页 |
| 第3章 数据获取的实现 | 第19-45页 |
| 3.1 数据爬取的实现 | 第19-43页 |
| 3.1.1 自动登陆的实现 | 第19-22页 |
| 3.1.2 粉丝关系分布式爬取 | 第22-34页 |
| 3.1.3 ID顺序分布式爬取 | 第34-42页 |
| 3.1.4 总结 | 第42-43页 |
| 3.2 聊天数据获取的实现 | 第43-45页 |
| 第4章 数据计算与算法的实现 | 第45-58页 |
| 4.1 好友关系的计算 | 第46-47页 |
| 4.2 社区发现算法 | 第47-51页 |
| 4.3 中心性计算 | 第51-53页 |
| 4.4 文本分类模型 | 第53-55页 |
| 4.4.1 分类 | 第53-55页 |
| 4.4.2 结果 | 第55页 |
| 4.5 用户定位算法 | 第55-58页 |
| 第5章 Web平台的实现 | 第58-68页 |
| 5.1 用户管理功能 | 第59-61页 |
| 5.2 数据爬取功能 | 第61-62页 |
| 5.3 数据集管理功能 | 第62-64页 |
| 5.4 数据计算功能 | 第64-66页 |
| 5.5 数据可视化功能 | 第66-68页 |
| 5.5.1 轨迹数据的可视化 | 第66-68页 |
| 第6章 结论 | 第68-70页 |
| 6.1 工作总结 | 第68-69页 |
| 6.2 工作不足 | 第69-70页 |
| 参考文献 | 第70-72页 |
| 致谢 | 第72-73页 |
| 学位论文评阅及答辩情况表 | 第73页 |
