摘要 | 第4-5页 |
abstract | 第5-6页 |
第1章 绪论 | 第9-18页 |
1.1 问题的提出 | 第9-12页 |
1.2 研究现状 | 第12-14页 |
1.3 本文工作内容 | 第14-16页 |
1.3.1 研究内容 | 第14-15页 |
1.3.2 技术路线 | 第15-16页 |
1.4 论文结构 | 第16-18页 |
第2章 Spark Streaming架构及动态资源分配策略分析 | 第18-30页 |
2.1 Spark Streaming架构 | 第18-21页 |
2.1.1 Spark Core运行机制 | 第18-20页 |
2.1.2 Spark Streaming计算模型 | 第20-21页 |
2.2 Spark Streaming应用运行流程分析 | 第21-24页 |
2.2.1 Spark应用运行流程 | 第21-23页 |
2.2.2 Spark Streaming运行流程 | 第23-24页 |
2.3 Spark Streaming动态资源分配分析 | 第24-29页 |
2.3.1 Spark Streaming资源调度策略不足 | 第24-26页 |
2.3.2 Spark Streaming动态资源调整策略的不足 | 第26-29页 |
2.4 本章小结 | 第29-30页 |
第3章 Spark Streaming动态资源调度策略的改进 | 第30-45页 |
3.1 Spark Streaming应用间动态资源调度改进 | 第30-39页 |
3.1.1 应用间动态资源调度改进思想 | 第30-31页 |
3.1.2 应用间动态资源调度模型分析 | 第31-32页 |
3.1.3 应用间动态资源调度过程 | 第32-35页 |
3.1.4 应用间动态资源调度策略的实现 | 第35-39页 |
3.2 Spark Streaming任务间动态资源调度改进 | 第39-43页 |
3.2.1 任务间动态资源调度改进思想 | 第39-40页 |
3.2.2 任务间动态资源调度过程 | 第40-41页 |
3.2.3 任务间动态资源调度策略的实现 | 第41-43页 |
3.3 本章小结 | 第43-45页 |
第4章 Spark Streaming动态资源调整策略的改进 | 第45-54页 |
4.1 Spark Streaming动态资源调整改进思想 | 第45-46页 |
4.2 Spark Streaming动态资源调整模型分析 | 第46-48页 |
4.2.1 租户需求定义 | 第46-47页 |
4.2.2 Spark Streaming动态资源调整模型 | 第47-48页 |
4.3 多租户Spark Streaming动态资源调整过程 | 第48-50页 |
4.3.1 历史数据和全局变量获取 | 第48-49页 |
4.3.2 资源增减计算 | 第49-50页 |
4.3.3 资源调整执行 | 第50页 |
4.4 多租户Spark Streaming动态资源调整策略实现 | 第50-53页 |
4.5 本章小结 | 第53-54页 |
第5章 实验分析和验证 | 第54-75页 |
5.1 实验环境和数据 | 第54-58页 |
5.1.1 实验环境搭建 | 第54-57页 |
5.1.2 测试工具搭建和实验数据 | 第57-58页 |
5.2 Spark Streaming应用间动态资源调度实验验证 | 第58-63页 |
5.2.1 实验设计和评价指标 | 第58页 |
5.2.2 可行性分析 | 第58-59页 |
5.2.3 性能分析 | 第59-63页 |
5.3 Spark Streaming任务间动态资源调度实验验证 | 第63-65页 |
5.3.1 实验设计和评价指标 | 第63-64页 |
5.3.2 可行性分析 | 第64页 |
5.3.3 性能分析 | 第64-65页 |
5.4 多租户Spark Streaming动态资源调整实验验证 | 第65-70页 |
5.4.1 实验设计和评价指标 | 第65-66页 |
5.4.2 稳定数据流分析 | 第66-67页 |
5.4.3 不稳定数据流分析 | 第67-69页 |
5.4.4 租户数量实验分析 | 第69-70页 |
5.5 应用实例验证 | 第70-74页 |
5.5.1 项目环境 | 第70-71页 |
5.5.2 实例验证 | 第71-74页 |
5.6 本章小结 | 第74-75页 |
第6章 总结与展望 | 第75-77页 |
6.1 总结 | 第75-76页 |
6.2 展望 | 第76-77页 |
致谢 | 第77-78页 |
参考文献 | 第78-81页 |
攻读学位期间获得与学位论文相关的科研成果目录 | 第81页 |