微博舆情系统中数据采集技术研究
| 摘要 | 第4-5页 |
| Abstract | 第5-6页 |
| 第1章 绪论 | 第9-15页 |
| 1.1 背景与意义 | 第9-11页 |
| 1.1.1 选题背景 | 第9-10页 |
| 1.1.2 舆情研究的意义 | 第10-11页 |
| 1.2 研究现状 | 第11-13页 |
| 1.3 研究内容 | 第13页 |
| 1.4 本文内容安排 | 第13-15页 |
| 第2章 模拟登录微博 | 第15-23页 |
| 2.1 相关的背景知识 | 第15-17页 |
| 2.1.1 HTTP 协议 | 第15页 |
| 2.1.2 COOKIE | 第15-16页 |
| 2.1.3 URL | 第16页 |
| 2.1.4 HTML | 第16-17页 |
| 2.1.5 网络爬虫 | 第17页 |
| 2.2 模拟登录微博 | 第17-21页 |
| 2.2.1 获取 COOKIE | 第17-20页 |
| 2.2.2 登录微博 | 第20-21页 |
| 2.3 微博 API 的登录采集方法 | 第21页 |
| 2.4 本章小结 | 第21-23页 |
| 第3章 微博数据采集 | 第23-39页 |
| 3.1 单个网页采集 | 第23页 |
| 3.2 微博用户网络的构建 | 第23-28页 |
| 3.2.1 图和网络 | 第24页 |
| 3.2.2 微博用户网络的构建 | 第24-28页 |
| 3.3 优先队列的构建 | 第28-29页 |
| 3.4 优先级的计算模型 | 第29-34页 |
| 3.4.1 粉丝数 | 第30页 |
| 3.4.2 活跃度 | 第30-31页 |
| 3.4.3 传播力 | 第31-32页 |
| 3.4.4 关注数 | 第32-33页 |
| 3.4.5 时间戳 | 第33-34页 |
| 3.5 网页解析与去噪 | 第34-38页 |
| 3.5.1 网页解析的研究现状 | 第34-35页 |
| 3.5.2 网页解析 | 第35-36页 |
| 3.5.3 性能分析 | 第36-38页 |
| 3.6 本章小结 | 第38-39页 |
| 第4章 实验数据分析与讨论 | 第39-48页 |
| 4.1 两种登录方法的性能比较 | 第39-40页 |
| 4.2 优先级的计算公式 | 第40-45页 |
| 4.2.1 优先级中各个因子量化的公式 | 第41-44页 |
| 4.2.2 优先级计算中各因子的系数确定 | 第44-45页 |
| 4.3 优先队列采集和非优先队列采集的对比 | 第45页 |
| 4.4 实验数据分析 | 第45-47页 |
| 4.4.1 微博用户影响力的分析 | 第45-46页 |
| 4.4.2 简单的数据挖掘分析 | 第46-47页 |
| 4.5 小结 | 第47-48页 |
| 第5章 总结与展望 | 第48-50页 |
| 5.1 本文工作总结 | 第48页 |
| 5.2 未来工作的展望 | 第48-50页 |
| 参考文献 | 第50-53页 |
| 致谢 | 第53-54页 |
| 附录 A 攻读硕士学位期间科研成果 | 第54页 |
