互联网舆情分析中信息采集技术的研究与设计
| 摘要 | 第4-6页 |
| ABSTRACT | 第6-7页 |
| 第一章 绪论 | 第10-15页 |
| 1.1 课题背景及意义 | 第10页 |
| 1.2 国内外研究现状 | 第10-13页 |
| 1.3 本文研究内容及论文结构 | 第13-15页 |
| 第二章 网络爬虫及相关技术研究 | 第15-27页 |
| 2.1 网络爬虫 | 第15-22页 |
| 2.1.1 通用网络爬虫 | 第16-19页 |
| 2.1.2 聚焦网络爬虫 | 第19-22页 |
| 2.2 Ajax技术原理 | 第22-26页 |
| 2.2.1 Ajax工作流程 | 第22-23页 |
| 2.2.2 Ajax实现方法 | 第23-25页 |
| 2.2.3 常用Ajax轮询方式 | 第25-26页 |
| 2.3 本章小结 | 第26-27页 |
| 第三章 舆情系统信息采集模块总体设计 | 第27-43页 |
| 3.1 设计目标 | 第27-29页 |
| 3.2 信息采集方案策略设计 | 第29-36页 |
| 3.2.1 动态页面DOM爬取阶段研究 | 第29-33页 |
| 3.2.2 动态页面DOM优化阶段研究 | 第33-36页 |
| 3.3 信息采集方案流程设计 | 第36-37页 |
| 3.4 信息采集模块架构设计 | 第37-40页 |
| 3.4.1 模块结构设计 | 第37-39页 |
| 3.4.2 模块工作流程 | 第39-40页 |
| 3.5 模块关键接口设计 | 第40-42页 |
| 3.5.1 接口设计约束 | 第40页 |
| 3.5.2 数据源设置接口设计 | 第40-41页 |
| 3.5.3 微博动态预警接口设计 | 第41页 |
| 3.5.4 微博主题接口设计 | 第41-42页 |
| 3.6 本章小结 | 第42-43页 |
| 第四章 舆情系统信息采集模块详细设计 | 第43-58页 |
| 4.1 页面获取单元 | 第43-48页 |
| 4.1.1 页面解析机制分析 | 第43-47页 |
| 4.1.2 页面获取工作流程 | 第47-48页 |
| 4.2 Ajax代码检测单元 | 第48-50页 |
| 4.2.1 正则检测匹配 | 第48-49页 |
| 4.2.2 Ajax代码检测流程 | 第49-50页 |
| 4.3 Ajax代码解析单元 | 第50-53页 |
| 4.3.1 事件自动触发 | 第50-52页 |
| 4.3.2 DOM结构树保存 | 第52-53页 |
| 4.4 DOM合并干扰过滤单元 | 第53-57页 |
| 4.4.1 DOM结构分析 | 第53-56页 |
| 4.4.2 DOM结构合并优化 | 第56-57页 |
| 4.5 本章小结 | 第57-58页 |
| 第五章 信息采集模块实验测试与实现 | 第58-67页 |
| 5.1 信息采集模块实验测试 | 第58-64页 |
| 5.1.1 抓取动态页面信息反馈 | 第58-62页 |
| 5.1.2 DOM节点相关性计算 | 第62-64页 |
| 5.2 信息采集模块功能实现 | 第64-66页 |
| 5.2.1 添加数据源功能 | 第64页 |
| 5.2.2 微博动态信息展示功能 | 第64页 |
| 5.2.3 微博主题统计展示功能 | 第64-66页 |
| 5.3 本章小结 | 第66-67页 |
| 第六章 总结与展望 | 第67-69页 |
| 6.1 工作总结 | 第67页 |
| 6.2 工作展望 | 第67-69页 |
| 参考文献 | 第69-72页 |
| 致谢 | 第72页 |
