| 摘要 | 第1-6页 |
| Abstract | 第6-10页 |
| 第1章 绪论 | 第10-15页 |
| ·课题研究目的和意义 | 第10-11页 |
| ·课题的国内外研究现状 | 第11-13页 |
| ·课题的国外研究现状 | 第11-12页 |
| ·课题的国内研究现状 | 第12-13页 |
| ·论文主要的研究内容和组织结构 | 第13-15页 |
| 第2章 分布式计算及网络爬虫技术原理及分析 | 第15-25页 |
| ·引言 | 第15页 |
| ·HTTP 协议概要 | 第15-16页 |
| ·网络爬虫技术原理 | 第16-18页 |
| ·网络爬虫的基本原理 | 第16-17页 |
| ·网络爬虫的基本结构 | 第17-18页 |
| ·分布式系统概要 | 第18-20页 |
| ·分布式系统的概念与原理 | 第18页 |
| ·分布式系统的优点与局限性 | 第18-19页 |
| ·分布式系统的结构 | 第19-20页 |
| ·Hadoop 平台相关技术原里 | 第20-24页 |
| ·Hadoop 文件系统 HDFS 的原理 | 第20-22页 |
| ·Hadoop 文件系统 HDFS 的优点与局限性 | 第22页 |
| ·分布式计算框架 MapReduce | 第22-24页 |
| ·本章小结 | 第24-25页 |
| 第3章 分布式微博爬虫的功能分析与架构设计 | 第25-38页 |
| ·引言 | 第25页 |
| ·微博数据的获取方法 | 第25-26页 |
| ·微博运营商提供接口获取数据 | 第25页 |
| ·网络爬虫获取数据 | 第25-26页 |
| ·分布式微博爬虫的架构设计 | 第26-29页 |
| ·模拟浏览器登录微博的设计 | 第29-32页 |
| ·HTTP 数据报文的分析 | 第29-31页 |
| ·模拟浏览器登录微博的设计 | 第31-32页 |
| ·分布式微博爬虫 Master/Slave 节点工作流程的设计 | 第32-36页 |
| ·Master 节点任务采集工作流程的设计 | 第32-33页 |
| ·Master 节点任务调度流程的设计 | 第33-34页 |
| ·Slave 节点爬虫基本工作流程的设计 | 第34-35页 |
| ·Slave 节点 SLM 进程工作流程的设计 | 第35-36页 |
| ·云计算扩展功能的设计 | 第36-37页 |
| ·本章总结 | 第37-38页 |
| 第4章 分布式微博爬虫的具体实现 | 第38-63页 |
| ·引言 | 第38页 |
| ·存储结构结构的实现 | 第38-44页 |
| ·Master 节点采集任务数据表 | 第38-39页 |
| ·Master 节点作业映射表 | 第39-40页 |
| ·Master 节点作业调度表 | 第40-41页 |
| ·Slave 节点采集作业缓存 | 第41页 |
| ·普通模式微博采集信息抽取表 | 第41-43页 |
| ·Hadoop 扩展模式微博采集信息抽取存储结构 | 第43-44页 |
| ·Master/Slave 节点基本功能模块实现 | 第44-58页 |
| ·Master 节点数据库操作模块 | 第44-45页 |
| ·Master 节点任务采集模块 | 第45-47页 |
| ·Master 节点异常采集处理模块 | 第47-48页 |
| ·Master 节点任务调度模块 | 第48-51页 |
| ·Slave 节点爬虫监听模块 | 第51-53页 |
| ·Slave 节点作业采集模式及爬虫采集模块 | 第53-55页 |
| ·Slave 节点异常采集处理模块 | 第55-58页 |
| ·分布式微博爬虫辅助日志的实现 | 第58-59页 |
| ·Hadoop 扩展功能的实现 | 第59-61页 |
| ·在 Hadoop 计算框架 MapReduce 上的应用 | 第59-60页 |
| ·分布式微博爬虫扩展模式的实现 | 第60-61页 |
| ·本章总结 | 第61-63页 |
| 第5章 整体部署与实验测试 | 第63-72页 |
| ·引言 | 第63页 |
| ·实验软件和硬件环境 | 第63-64页 |
| ·部署 Master 节点及相关实验测试 | 第64-67页 |
| ·部署 Master 节点基本环境 | 第64页 |
| ·运行并测试 Master 节点任务采集程序 | 第64-66页 |
| ·运行并测试 Master 节点调度程序 | 第66-67页 |
| ·部署 Slave 节点及整体实验测试分析 | 第67-69页 |
| ·部署 Slave 节点及爬虫并发运行的测试 | 第67-68页 |
| ·分布式爬虫数据采集测试与分析 | 第68-69页 |
| ·实验测试 Hadoop 扩展功能 | 第69-71页 |
| ·配置部署 Hadoop 环境 | 第69-71页 |
| ·云计算扩展功能测试与分析 | 第71页 |
| ·本章小结 | 第71-72页 |
| 结论 | 第72-74页 |
| 参考文献 | 第74-77页 |
| 致谢 | 第77-78页 |
| 作者简介 | 第78页 |
