基于Spark的电力系统日志数据的分析处理
| 摘要 | 第5-6页 |
| ABSTRACT | 第6页 |
| 第1章 绪论 | 第10-21页 |
| 1.1 课题研究背景 | 第10-12页 |
| 1.2 国内外研究现状 | 第12-18页 |
| 1.2.1 数据流采集缓存与预处理研究现状 | 第12-16页 |
| 1.2.2 实时数据流处理研究现状 | 第16-18页 |
| 1.2.3 研究现状总结 | 第18页 |
| 1.3 论文研究目标与意义 | 第18-19页 |
| 1.4 论文研究内容 | 第19-20页 |
| 1.5 本文章节安排 | 第20-21页 |
| 第2章 相关技术概述 | 第21-31页 |
| 2.1 Spark与Spark上层的高级工具概述 | 第21-27页 |
| 2.1.1 Spark概述 | 第21-24页 |
| 2.1.2 Spark Streaming概述 | 第24-26页 |
| 2.1.3 SparkSQL概述 | 第26-27页 |
| 2.2 Kafka消息队列概述 | 第27-29页 |
| 2.3 小结 | 第29-31页 |
| 第3章 基于单查询的数据流延迟优化研究 | 第31-42页 |
| 3.1 实时日志数据流采集缓存与预处理 | 第31-33页 |
| 3.1.1 数据流采集缓存 | 第31-32页 |
| 3.1.2 数据流预处理 | 第32-33页 |
| 3.2 处理模型 | 第33-36页 |
| 3.2.1 模型定义 | 第33-34页 |
| 3.2.2 系统稳定性 | 第34-35页 |
| 3.2.3 批间隔选取 | 第35-36页 |
| 3.3 动态批间隔 | 第36-40页 |
| 3.3.1 理想的批间隔 | 第36-37页 |
| 3.3.2 定点迭代 | 第37-38页 |
| 3.3.3 无交叉点的运算 | 第38-39页 |
| 3.3.4 基于定点迭代的动态调整算法 | 第39-40页 |
| 3.4 小结 | 第40-42页 |
| 第4章 基于多查询的数据流处理研究 | 第42-50页 |
| 4.1 统计模型定义 | 第42-43页 |
| 4.2 动态块间隔 | 第43-46页 |
| 4.2.1 多查询任务 | 第43页 |
| 4.2.2 块间隔 | 第43-45页 |
| 4.2.3 基于贪心算法的动态调整策略 | 第45-46页 |
| 4.3 多查询任务处理 | 第46-49页 |
| 4.3.1 相关性的定义及意义 | 第46-47页 |
| 4.3.2 基于相关性的合并算法 | 第47-49页 |
| 4.4 小结 | 第49-50页 |
| 第5章 基于HBase的日志数据存储 | 第50-59页 |
| 5.1 日志数据存储 | 第50-51页 |
| 5.2 性能优化 | 第51-58页 |
| 5.2.1 RowKey和表结构的设计 | 第51-52页 |
| 5.2.2 配置调优 | 第52-56页 |
| 5.2.3 节点扩展 | 第56-58页 |
| 5.3 小结 | 第58-59页 |
| 第6章 系统实现及性能分析 | 第59-72页 |
| 6.1 系统架构 | 第59-60页 |
| 6.2 实验环境 | 第60-64页 |
| 6.2.1 硬件环境 | 第60页 |
| 6.2.2 软件环境 | 第60-61页 |
| 6.2.3 实验数据集与工作流 | 第61-64页 |
| 6.3 单查询的数据流延迟优化 | 第64-67页 |
| 6.3.1 日志数据接收速率 | 第64-66页 |
| 6.3.2 性能对比 | 第66-67页 |
| 6.3.3 参数分析 | 第67页 |
| 6.4 多查询的数据流处理 | 第67-71页 |
| 6.4.1 合并算法性能对比 | 第67-69页 |
| 6.4.2 日志数据接收速率 | 第69-70页 |
| 6.4.3 性能对比 | 第70页 |
| 6.4.4 收敛速度 | 第70-71页 |
| 6.5 小结 | 第71-72页 |
| 第7章 总结与展望 | 第72-74页 |
| 7.1 论文总结 | 第72-73页 |
| 7.2 论文展望 | 第73-74页 |
| 致谢 | 第74-75页 |
| 参考文献 | 第75-77页 |
| 作者简历 | 第77-78页 |
| 攻读硕士学位期间相关研究工作 | 第78页 |
| 一、学术论文 | 第78页 |
| 二、参与项目 | 第78页 |
