社交网络的数据采集与分析方法研究
摘要 | 第4-5页 |
Abstract | 第5-6页 |
1 绪论 | 第12-17页 |
1.1 课题研究背景及意义 | 第12-14页 |
1.1.1 研究背景 | 第12-13页 |
1.1.2 研究意义 | 第13-14页 |
1.2 研究现状 | 第14-15页 |
1.2.1 国外的研究现状 | 第14-15页 |
1.2.2 国内的研究现状 | 第15页 |
1.3 本文的研究内容 | 第15-16页 |
1.4 本文的结构安排 | 第16-17页 |
2 相关技术介绍 | 第17-27页 |
2.1 社交网络数据获取 | 第17-21页 |
2.1.1 网络爬虫 | 第17-19页 |
2.1.2 API接口介绍 | 第19-21页 |
2.2 OAuth授权认证 | 第21-22页 |
2.3 XML和JSON页面解析技术 | 第22-24页 |
2.3.1 XML页面解析技术 | 第22-23页 |
2.3.2 JSON页面解析技术 | 第23-24页 |
2.4 非关系型数据库 | 第24-26页 |
2.5 本章小结 | 第26-27页 |
3 社交网络数据采集系统的设计 | 第27-43页 |
3.1 系统需求分析 | 第27-29页 |
3.1.1 系统功能需求分析 | 第27-28页 |
3.1.2 系统非功能需求分析 | 第28-29页 |
3.2 系统框架设计 | 第29-30页 |
3.3 功能模块设计 | 第30-40页 |
3.3.1 API接口的调度 | 第30-32页 |
3.3.2 用户关系采集模块设计 | 第32-36页 |
3.3.3 博文内容采集模块设计 | 第36-40页 |
3.4 数据存储设计 | 第40-42页 |
3.5 本章小结 | 第42-43页 |
4 社交网络数据采集系统的实现 | 第43-55页 |
4.1 系统开发环境介绍 | 第43页 |
4.2 系统功能的实现 | 第43-51页 |
4.2.1 OAuth授权模块实现 | 第43-45页 |
4.2.2 名人用户列表采集模块实现 | 第45-47页 |
4.2.3 用户关系采集模块实现 | 第47-48页 |
4.2.4 博文内容采集模块实现 | 第48-50页 |
4.2.5 XML和JSON数据解析实现 | 第50-51页 |
4.3 数据预处理 | 第51页 |
4.4 采集数据展示 | 第51-54页 |
4.5 本章小结 | 第54-55页 |
5 社交网络中用户偏好分析 | 第55-62页 |
5.1 用户偏好分析相关研究 | 第55-56页 |
5.2 基于内容的向量空间模型 | 第56-58页 |
5.2.1 TF-IDF | 第56-57页 |
5.2.2 向量空间模型 | 第57页 |
5.2.3 余弦相似度 | 第57-58页 |
5.3 基于VSM的博文用户偏好分析 | 第58-61页 |
5.3.1 用户偏好建模设计 | 第58-60页 |
5.3.2 博文用户偏好建模 | 第60-61页 |
5.4 本章小结 | 第61-62页 |
6 实验 | 第62-70页 |
6.1 实验目的 | 第62页 |
6.2 实验环境部署及方法 | 第62-63页 |
6.3 实验结果分析 | 第63-69页 |
6.3.1 用户总体情况分析 | 第63-65页 |
6.3.2 用户关系总体情况分析 | 第65-66页 |
6.3.3 用户的度分布 | 第66-67页 |
6.3.4 垃圾博文过滤情况分析 | 第67-68页 |
6.3.5 用户偏好分析 | 第68-69页 |
6.4 本章小结 | 第69-70页 |
7 总结和展望 | 第70-72页 |
7.1 总结 | 第70-71页 |
7.2 展望 | 第71-72页 |
参考文献 | 第72-75页 |
致谢 | 第75-76页 |
个人简历、在学期间发表的学术论文 | 第76页 |