摘要 | 第5-7页 |
abstract | 第7-8页 |
第1章 绪论 | 第11-16页 |
1.1 研究背景与意义 | 第11页 |
1.2 国内外研究现状 | 第11-13页 |
1.2.1 云计算平台优化相关研究 | 第11-13页 |
1.2.2 面向Storm平台优化的相关研究 | 第13页 |
1.3 研究内容与技术路线 | 第13-14页 |
1.4 本文组织结构 | 第14-15页 |
1.5 本章小节 | 第15-16页 |
第2章 Storm架构及相关概念 | 第16-23页 |
2.1 实时流式数据处理及框架 | 第16-17页 |
2.1.1 流式数据处理框架对比 | 第16页 |
2.1.2 Storm简介 | 第16-17页 |
2.2 Storm架构概述 | 第17-19页 |
2.2.1 整体架构 | 第17-18页 |
2.2.2 Topology与数据处理模型 | 第18-19页 |
2.2.3 消息分发策略 | 第19页 |
2.3 调度器及原理 | 第19-22页 |
2.3.1 Storm调度器 | 第19-20页 |
2.3.2 元数据 | 第20-21页 |
2.3.3 资源调度实现原理 | 第21-22页 |
2.4 本章小结 | 第22-23页 |
第3章 模型构建与性能优化方案 | 第23-34页 |
3.1 Storm的数学模型建立 | 第23-28页 |
3.1.1 资源和Task的定义 | 第23-24页 |
3.1.2 调度的定义 | 第24页 |
3.1.3 均衡调度器 | 第24-28页 |
3.2 问题、优化目标与指标 | 第28-30页 |
3.2.1 通信代价的性能影响 | 第28-29页 |
3.2.2 明确问题 | 第29-30页 |
3.2.3 优化目标与评价指标 | 第30页 |
3.3 优化方案分析 | 第30-33页 |
3.3.1 几种性能优化方法 | 第30-31页 |
3.3.2 调度器优化方案 | 第31-32页 |
3.3.3 性能检测模型及实现方案 | 第32-33页 |
3.4 本章小结 | 第33-34页 |
第4章 基于图划分的调度策略 | 第34-46页 |
4.1 Topology图划分模型 | 第34-36页 |
4.1.1 图划分的相关定义 | 第34页 |
4.1.2 Storm Topology的带权图模型 | 第34-35页 |
4.1.3 算法评价 | 第35-36页 |
4.2 启发式图划分算法 | 第36-39页 |
4.2.1 均衡图划分算法 | 第36-37页 |
4.2.2 均衡图划分迭代调优 | 第37-38页 |
4.2.3 按权图划分算法 | 第38-39页 |
4.3 仿真实验 | 第39-45页 |
4.3.1 实验条件描述 | 第39-41页 |
4.3.2 自身对比实验 | 第41-42页 |
4.3.3 对照组实验 | 第42-45页 |
4.3.4 实验结论 | 第45页 |
4.4 本章小节 | 第45-46页 |
第5章 任务分配与调度器 | 第46-53页 |
5.1 静态任务分配 | 第46-48页 |
5.1.1 均衡调度器的改进 | 第46页 |
5.1.2 基于图划分的静态调度器 | 第46-48页 |
5.2 基于图划分的动态调度 | 第48-52页 |
5.2.1 概述 | 第48页 |
5.2.2 动态调度策略 | 第48-50页 |
5.2.3 动态并行参数优化 | 第50-51页 |
5.2.4 重调度优化 | 第51-52页 |
5.3 本章小节 | 第52-53页 |
第6章 实验与结果分析 | 第53-57页 |
6.1 实验条件 | 第53-54页 |
6.1.1 软硬件环境 | 第53-54页 |
6.1.2 测试Topology与性能数据采集 | 第54页 |
6.2 对比实验 | 第54-56页 |
6.2.1 调度器指标对比 | 第54-55页 |
6.2.2 性能指标对比 | 第55-56页 |
6.3 实验结果 | 第56-57页 |
第7章 结论与展望 | 第57-59页 |
7.1 结论 | 第57页 |
7.2 展望 | 第57-59页 |
参考文献 | 第59-61页 |
致谢 | 第61-62页 |
攻读学位期间参加的科研项目和成果 | 第62页 |