社会化网络数据获取技术研究与实现
| 摘要 | 第1-5页 |
| Abstract | 第5-10页 |
| 第1章 绪论 | 第10-13页 |
| ·研究背景及意义 | 第10-11页 |
| ·研究现状 | 第11-12页 |
| ·本文组织结构 | 第12-13页 |
| 第2章 本文涉及的相关知识 | 第13-25页 |
| ·爬虫基本概念 | 第13-14页 |
| ·URL去重 | 第14-15页 |
| ·磁盘顺序存储 | 第14-15页 |
| ·MD5 | 第15页 |
| ·布隆过滤器 | 第15页 |
| ·Ajax | 第15-16页 |
| ·相关工具介绍 | 第16-19页 |
| ·Python | 第16页 |
| ·Beautiful Soup | 第16页 |
| ·Requests | 第16-18页 |
| ·pyExcelerator | 第18页 |
| ·MySQL | 第18页 |
| ·UCINET | 第18-19页 |
| ·图论及社会化网络相关知识 | 第19-25页 |
| ·结点 | 第19页 |
| ·边 | 第19-20页 |
| ·度 | 第20页 |
| ·图的表示 | 第20-21页 |
| ·中心性 | 第21-23页 |
| ·社区发现 | 第23-25页 |
| 第3章 爬虫基本设计 | 第25-42页 |
| ·知乎网结构分析 | 第25-28页 |
| ·爬虫需要解决的问题 | 第28-30页 |
| ·数据的获取 | 第28-29页 |
| ·网站的反爬虫机制 | 第29-30页 |
| ·爬虫的效率 | 第30页 |
| ·数据库设计 | 第30-33页 |
| ·爬虫主要模块设计 | 第33-42页 |
| ·模拟登录模块 | 第33-34页 |
| ·用户解析模块 | 第34-36页 |
| ·问题解析模块 | 第36-38页 |
| ·话题解析模块 | 第38-39页 |
| ·数据存储模块 | 第39-40页 |
| ·控制模块 | 第40-41页 |
| ·用户网络邻接矩阵生成模块 | 第41-42页 |
| 第4章 知乎全网爬虫 | 第42-53页 |
| ·知乎全网用户爬虫 | 第43-48页 |
| ·知乎全网用户爬虫策略 | 第43-47页 |
| ·知乎全网用户爬虫的实现 | 第47-48页 |
| ·知乎全网问题爬虫 | 第48-50页 |
| ·知乎全网问题爬虫策略 | 第48-49页 |
| ·知乎全网问题爬虫的实现 | 第49-50页 |
| ·实验与结果分析 | 第50-53页 |
| 第5章 知乎主题爬虫 | 第53-62页 |
| ·知乎主题爬虫策略 | 第54-56页 |
| ·知乎主题爬虫的实现 | 第56-58页 |
| ·实验与知乎社区分析 | 第58-62页 |
| ·数据的选取 | 第58-59页 |
| ·中心性分析 | 第59-61页 |
| ·派系分析 | 第61-62页 |
| 第6章 总结与展望 | 第62-63页 |
| 参考文献 | 第63-66页 |
| 附录：用户关注关系列表 | 第66-78页 |
| 致谢 | 第78页 |
