基于关键词的微博爬虫系统的设计与实现
| 摘要 | 第5-6页 |
| ABSTRACT | 第6-7页 |
| 第1章 绪论 | 第12-20页 |
| 1.1 课题研究背景及意义 | 第12页 |
| 1.2 国内外相关研究现状 | 第12-19页 |
| 1.2.1 网络爬虫 | 第12-15页 |
| 1.2.2 微博特点概述 | 第15-19页 |
| 1.3 论文的主要工作及章节安排 | 第19-20页 |
| 第2章 网络爬虫相关理论及技术 | 第20-30页 |
| 2.1 爬虫系统概述 | 第20-22页 |
| 2.1.1 基本原理 | 第20-21页 |
| 2.1.2 网页爬取策略 | 第21-22页 |
| 2.2 网络爬虫分类 | 第22-24页 |
| 2.2.1 通用网络爬虫 | 第22-23页 |
| 2.2.2 聚焦网络爬虫 | 第23页 |
| 2.2.3 增量式网络爬虫 | 第23-24页 |
| 2.3 DOM | 第24-25页 |
| 2.4 XPath | 第25-28页 |
| 2.4.1 XPath概述 | 第25-26页 |
| 2.4.2 XPath实例 | 第26-28页 |
| 2.5 JAVA定时器 | 第28-29页 |
| 2.6 本章小结 | 第29-30页 |
| 第3章 网络爬虫系统需求分析 | 第30-35页 |
| 3.1 业务需求描述 | 第30-33页 |
| 3.2 功能需求分析 | 第33-34页 |
| 3.2.1 网页下载与信息过滤 | 第33页 |
| 3.2.2 关键内容抽取 | 第33页 |
| 3.2.3 数据更新与存储 | 第33-34页 |
| 3.3 非功能需求分析 | 第34页 |
| 3.4 本章小结 | 第34-35页 |
| 第4章 网络爬虫系统设计与实现 | 第35-45页 |
| 4.1 系统的总体设计 | 第35-37页 |
| 4.1.1 系统的总体结构 | 第35-36页 |
| 4.1.2 系统的总体流程 | 第36-37页 |
| 4.2 系统功能结构设计与实现 | 第37-44页 |
| 4.2.1 微博模拟登陆 | 第37-39页 |
| 4.2.2 网页下载与数据过滤 | 第39-41页 |
| 4.2.3 关键内容抽取 | 第41-43页 |
| 4.2.4 数据库的设计 | 第43-44页 |
| 4.3 本章小结 | 第44-45页 |
| 第5章 网络爬虫系统测试 | 第45-54页 |
| 5.1 系统测试环境 | 第45页 |
| 5.2 测试用例和测试结果 | 第45-53页 |
| 5.3 本章小结 | 第53-54页 |
| 第6章 总结与展望 | 第54-55页 |
| 6.1 工作总结 | 第54页 |
| 6.2 展望 | 第54-55页 |
| 参考文献 | 第55-58页 |
| 致谢 | 第58页 |
