| 摘要 | 第5-6页 |
| ABSTRACT | 第6-7页 |
| 第一章 绪论 | 第15-21页 |
| 1.1 选题背景与意义 | 第15-17页 |
| 1.2 国内外研究历史与现状 | 第17-19页 |
| 1.2.1 国外主流的舆情分析研究现状 | 第17-18页 |
| 1.2.2 国内舆情分析研究现状 | 第18-19页 |
| 1.3 论文研究主要工作内容 | 第19页 |
| 1.4 论文结构安排 | 第19-21页 |
| 第二章 商业舆情分析系统的关键技术 | 第21-36页 |
| 2.1 引言 | 第21页 |
| 2.2 软件架构的分类 | 第21-25页 |
| 2.2.1 分层结构 | 第21-23页 |
| 2.2.2 事件驱动架构 | 第23页 |
| 2.2.3 微内核架构 | 第23-24页 |
| 2.2.4 微服务架构 | 第24-25页 |
| 2.3 面向批处理数据的Hadoop架构—舆情系统中的“冷数据”处理 | 第25-29页 |
| 2.3.1 HDFS分布式文件系统体系结构 | 第25-26页 |
| 2.3.2 HBase体系结构 | 第26-28页 |
| 2.3.3 Map Reduce编程模型 | 第28-29页 |
| 2.4 面向实时流数据处理相关架构—舆情系统中的“热数据”处理 | 第29-35页 |
| 2.4.1 主流实时计算数据处理框架介绍与比较 | 第30-32页 |
| 2.4.2 Spark Streaming流式计算框架详细介绍 | 第32-35页 |
| 2.5 小结 | 第35-36页 |
| 第三章 商业舆情分析系统的需求分析和总体设计 | 第36-43页 |
| 3.1 引言 | 第36页 |
| 3.2 系统总体需求分析 | 第36-37页 |
| 3.3 系统功能性需求分析 | 第37-39页 |
| 3.4 系统非功能性需求分析 | 第39-40页 |
| 3.5 系统总体设计 | 第40-42页 |
| 3.5.1 舆情系统软件体系架构 | 第40-41页 |
| 3.5.2 舆情系统软件网络拓扑 | 第41-42页 |
| 3.6 小结 | 第42-43页 |
| 第四章 商业舆情分析系统架构分层详细设计 | 第43-79页 |
| 4.1 引言 | 第43页 |
| 4.2 基础平台层设计 | 第43-46页 |
| 4.2.1 数据存储技术 | 第43页 |
| 4.2.2 基于多存储介质的分层存储架构 | 第43-46页 |
| 4.3 舆情数据采集模块整体设计 | 第46-53页 |
| 4.3.1 爬虫介绍 | 第46-47页 |
| 4.3.2 基于API接口与Web Magic爬虫相结合的数据采集系统设计 | 第47-51页 |
| 4.3.3 基于Hadoop的分布式数据存储设计 | 第51-53页 |
| 4.4 舆情数据信息预处理设计 | 第53-64页 |
| 4.4.1 基于JSoup开源框架的网页数据预处理 | 第53-57页 |
| 4.4.2 基于NLPIR开源框架的文本数据预处理 | 第57-59页 |
| 4.4.3 基于TF-IDF文本特征计算的改进 | 第59-60页 |
| 4.4.4 基于改进的K-means算法的舆情话题聚类检测 | 第60-64页 |
| 4.5 舆情业务分析模块设计 | 第64-68页 |
| 4.5.1 舆情信息情感分类 | 第64-66页 |
| 4.5.2 舆情热点话题识别 | 第66-68页 |
| 4.6 Web端应用模块设计 | 第68-78页 |
| 4.6.1 功能展示设计 | 第68页 |
| 4.6.2 功能展示模块技术实现 | 第68-70页 |
| 4.6.3 基于Redis的中间缓存设计实现 | 第70-71页 |
| 4.6.4 基于Action重排序以及RDD权重计算的ASRW算法设计 | 第71-78页 |
| 4.7 小结 | 第78-79页 |
| 第五章 实验与分析 | 第79-93页 |
| 5.1 环境搭建 | 第79-85页 |
| 5.1.1 集群节点配置 | 第80-81页 |
| 5.1.2 Hadoop配置以及参数的优化 | 第81-83页 |
| 5.1.3 Spark配置与性能调优 | 第83-85页 |
| 5.2 实验结果与分析 | 第85-92页 |
| 5.2.1 舆情信息爬取以及话题分析结果 | 第85-87页 |
| 5.2.2 改进的K-means聚类方法测试结果分析 | 第87-90页 |
| 5.2.3 Spark性能优化测试结果分析 | 第90-92页 |
| 5.3 小结 | 第92-93页 |
| 第六章 总结与展望 | 第93-95页 |
| 6.1 全文总结 | 第93页 |
| 6.2 前景展望 | 第93-95页 |
| 致谢 | 第95-96页 |
| 参考文献 | 第96-100页 |
| 攻读硕士期间取得的研究成果 | 第100-101页 |
