基于Spark的情报大数据可视化分析
| 摘要 | 第10-12页 |
| ABSTRACT | 第12-13页 |
| 符号说明 | 第14-15页 |
| 第一章 绪论 | 第15-20页 |
| 1.1 课题背景及意义 | 第15-17页 |
| 1.2 国内外研究现状 | 第17-18页 |
| 1.3 主要研究内容 | 第18-20页 |
| 第二章 关键技术介绍 | 第20-28页 |
| 2.1 B/S模式的系统开发 | 第20页 |
| 2.2 基于J2EE的前端交互系统 | 第20-22页 |
| 2.2.1 MVC设计模式执行过程 | 第21页 |
| 2.2.2 MVC各部分的作用 | 第21-22页 |
| 2.3 基于Spark、Hadoop的大数据技术 | 第22-26页 |
| 2.3.1 Spark生态系统 | 第22-23页 |
| 2.3.2 Spark RDD | 第23页 |
| 2.3.3 Spark On YARN | 第23页 |
| 2.3.4 Spark Streaming | 第23-24页 |
| 2.3.5 Spark GraphX | 第24页 |
| 2.3.6 Hadoop生态系统概况 | 第24页 |
| 2.3.7 Hadoop分布式文件系统 | 第24-25页 |
| 2.3.8 Map Reduce分布式计算框架 | 第25-26页 |
| 2.3.9 Sqoop2 | 第26页 |
| 2.4 分布式消息系统 | 第26-27页 |
| 2.5 数据挖掘技术 | 第27页 |
| 2.6 ECharts的数据可视化 | 第27-28页 |
| 第三章 情报大数据系统需求分析 | 第28-32页 |
| 3.1 情报大数据业务需求分析 | 第28-29页 |
| 3.1.1 情报采集需求 | 第28-29页 |
| 3.1.2 情报信息应用需求 | 第29页 |
| 3.1.3 交互式处理需求 | 第29页 |
| 3.2 功能性需求分析 | 第29-32页 |
| 3.2.1 系统管理 | 第29页 |
| 3.2.2 关系型数据库 | 第29-30页 |
| 3.2.3 大数据可视化分析 | 第30-32页 |
| 第四章 情报大数据系统总体设计 | 第32-38页 |
| 4.1 情报系统总体架构设计 | 第32-33页 |
| 4.1.1 数据层设计 | 第32-33页 |
| 4.1.2 应用支撑层设计 | 第33页 |
| 4.1.3 应用层设计 | 第33页 |
| 4.2 门户系统设计 | 第33-34页 |
| 4.3 情报应用子系统设计 | 第34页 |
| 4.4 情报预警子系统设计 | 第34-35页 |
| 4.5 验证服务子系统设计 | 第35页 |
| 4.6 情报研判子系统设计 | 第35-36页 |
| 4.7 技术方案和解决途径 | 第36-37页 |
| 4.8 系统的实时交互 | 第37-38页 |
| 第五章 情报大数据模块设计与实现 | 第38-58页 |
| 5.1 环境搭建 | 第38页 |
| 5.2 分布式大数据平台搭建 | 第38-45页 |
| 5.2.1 Spark集群搭建与配置 | 第39-40页 |
| 5.2.2 Hadoop集群搭建与配置 | 第40-41页 |
| 5.2.3 KafKa分布式消息系统 | 第41-42页 |
| 5.2.4 Sqoop2与MySQL | 第42-43页 |
| 5.2.5 SSH免密码登陆 | 第43-45页 |
| 5.3 模块功能实现 | 第45-55页 |
| 5.3.1 消息传递格式 | 第45-46页 |
| 5.3.2 经过ETL后的数据格式 | 第46页 |
| 5.3.3 多字段检索 | 第46-47页 |
| 5.3.4 社区发现 | 第47-49页 |
| 5.3.5 重点人员查找 | 第49-50页 |
| 5.3.6 话单分析 | 第50-53页 |
| 5.3.7 人员时间轨迹分析 | 第53-54页 |
| 5.3.8 案件展现 | 第54页 |
| 5.3.9 社区人员位置分析 | 第54页 |
| 5.3.10 人员交易分析 | 第54-55页 |
| 5.3.11 数据更新 | 第55页 |
| 5.4 系统优化 | 第55-58页 |
| 第六章 社区发现算法和重点人员查找算法研究 | 第58-62页 |
| 6.1 LPA算法 | 第58-60页 |
| 6.2 PageRank算法 | 第60-62页 |
| 第七章 总结与展望 | 第62-63页 |
| 7.1 论文总结 | 第62页 |
| 7.2 下一步工作 | 第62-63页 |
| 参考文献 | 第63-66页 |
| 致谢 | 第66-67页 |
| 攻读硕士期间参与的工程项目和发表的论文 | 第67-68页 |
| 参与的工程项目 | 第67页 |
| 发表的论文 | 第67-68页 |
| 学位论文评阅及答辩情况表 | 第68页 |
