摘要 | 第5-6页 |
ABSTRACT | 第6页 |
第一章 绪论 | 第10-15页 |
1.1 课题背景 | 第10-11页 |
1.2 相关研究现状 | 第11-13页 |
1.3 课题研究内容 | 第13页 |
1.4 论文结构安排 | 第13-14页 |
1.5 本章小结 | 第14-15页 |
第二章 相关技术 | 第15-36页 |
2.1 复杂事件处理技术 | 第15-17页 |
2.1.1 复杂事件处理概念 | 第15-16页 |
2.1.2 复杂事件处理系统 | 第16-17页 |
2.2 Spark Streaming分布式流计算框架 | 第17-28页 |
2.2.1 Spark核心技术 | 第17-24页 |
2.2.2 Spark Streaming相关技术 | 第24-26页 |
2.2.3 Spark Streaming与其他主流分布式流计算框架的对比 | 第26-28页 |
2.3 Kafka消息队列系统 | 第28-32页 |
2.3.1 Kafka系统架构 | 第28-29页 |
2.3.2 Kafka主要特性 | 第29-31页 |
2.3.3 Kafka与其他主流消息队列系统的对比 | 第31-32页 |
2.4 MySQL数据库系统 | 第32-35页 |
2.4.1 MySQL数据处理功能 | 第32-34页 |
2.4.2 MySQL与其他开源数据库系统的对比 | 第34-35页 |
2.5 本章小结 | 第35-36页 |
第三章 基于Spark Streaming的反刷单系统的设计 | 第36-44页 |
3.1 需求分析 | 第36-37页 |
3.2 系统设计思路 | 第37-38页 |
3.3 系统整体架构 | 第38-40页 |
3.4 Spark Streaming相关设计 | 第40-42页 |
3.5 MySQL数据库相关设计 | 第42-43页 |
3.6 本章小结 | 第43-44页 |
第四章 基于Spark Streaming的反刷单系统的实现 | 第44-61页 |
4.1 数据输入适配逻辑实现 | 第44-49页 |
4.1.1 Kafka数据读入 | 第44-45页 |
4.1.2 数据预处理 | 第45-48页 |
4.1.3 数据模型转换 | 第48-49页 |
4.2 规则匹配逻辑实现 | 第49-54页 |
4.2.1 累积指标异常匹配 | 第49-51页 |
4.2.2 窗口指标异常匹配 | 第51-53页 |
4.2.3 窗口关联指标异常匹配 | 第53-54页 |
4.3 异常处理逻辑实现 | 第54-55页 |
4.4 系统性能目标的实现 | 第55-60页 |
4.4.1 系统流控实现 | 第55-59页 |
4.4.2 系统容错实现 | 第59-60页 |
4.5 本章小结 | 第60-61页 |
第五章 系统测试 | 第61-79页 |
5.1 测试环境 | 第61-62页 |
5.2 测试数据 | 第62-64页 |
5.3 系统功能测试 | 第64-69页 |
5.4 系统性能测试 | 第69-78页 |
5.4.1 系统流控测试 | 第69-71页 |
5.4.2 各环节并发度测试 | 第71-74页 |
5.4.3 批次时间间隔测试 | 第74-75页 |
5.4.4 窗口规则支持测试 | 第75-78页 |
5.5 本章小结 | 第78-79页 |
第六章 总结及展望 | 第79-81页 |
参考文献 | 第81-83页 |
致谢 | 第83页 |