| 摘要 | 第3-4页 |
| Abstract | 第4-5页 |
| 1 绪论 | 第8-15页 |
| 1.1 研究背景和意义 | 第8-9页 |
| 1.2 国内外研究现状与分析 | 第9-13页 |
| 1.2.1 LTE信令数据处理和分析 | 第10页 |
| 1.2.2 大数据流式处理 | 第10-12页 |
| 1.2.3 Spark和大数据处理 | 第12-13页 |
| 1.3 论文主要工作 | 第13-14页 |
| 1.4 论文组织架构 | 第14-15页 |
| 2 背景知识和相关技术分析 | 第15-23页 |
| 2.1 Spark大数据处理架构 | 第15-19页 |
| 2.1.1 Spark简介 | 第15-17页 |
| 2.1.2 Spark Streaming | 第17-18页 |
| 2.1.3 流式数据处理速率控制 | 第18-19页 |
| 2.2 Kafka发布订阅消息队列 | 第19-20页 |
| 2.3 Flume日志收集系统 | 第20-21页 |
| 2.4 HBase数据库 | 第21-22页 |
| 2.5 LTE信令数据 | 第22页 |
| 2.6 本章小结 | 第22-23页 |
| 3 信令数据实时处理系统实现 | 第23-32页 |
| 3.1 系统整体架构 | 第23-25页 |
| 3.1.1 系统详细设计 | 第24-25页 |
| 3.2 数据收集 | 第25-26页 |
| 3.3 数据汇总 | 第26-27页 |
| 3.4 数据处理 | 第27-29页 |
| 3.4.1 数据实时处理模块 | 第28页 |
| 3.4.2 数据离线处理模块 | 第28-29页 |
| 3.5 数据存储 | 第29-31页 |
| 3.6 本章小结 | 第31-32页 |
| 4 数据预分片和实时处理速率控制 | 第32-47页 |
| 4.1 数据预分片 | 第32-39页 |
| 4.1.1 Kafka与Spark的并行度关系 | 第32-33页 |
| 4.1.2 repartition的代价 | 第33-35页 |
| 4.1.3 数据预分片 | 第35-36页 |
| 4.1.4 预分片映射关系计算 | 第36-39页 |
| 4.2 数据处理速率上限动态控制 | 第39-46页 |
| 4.2.1 Spark Streaming中的速率控制 | 第39-41页 |
| 4.2.2 实时速率控制器 | 第41-42页 |
| 4.2.3 改进的实时速率控制算法 | 第42-45页 |
| 4.2.4 速率控制器的实现 | 第45-46页 |
| 4.3 本章小结 | 第46-47页 |
| 5 实验验证与性能测试 | 第47-59页 |
| 5.1 实验环境 | 第47-48页 |
| 5.2 实验设置 | 第48-49页 |
| 5.3 数据预分片性能测试 | 第49-52页 |
| 5.4 改进的数据处理速率上限控制测试 | 第52-58页 |
| 5.4.1 数据输入速率稳定情况下的实验结果 | 第53-55页 |
| 5.4.2 数据输入速率变化情况下的实验结果 | 第55-58页 |
| 5.5 本章小结 | 第58-59页 |
| 结论 | 第59-60页 |
| 参考文献 | 第60-64页 |
| 攻读硕士学位期间发表学术论文情况 | 第64-65页 |
| 致谢 | 第65-66页 |