摘要 | 第5-6页 |
abstract | 第6-7页 |
第一章 绪论 | 第10-18页 |
1.1 研究背景和意义 | 第10-12页 |
1.2 国内外研究现状 | 第12-15页 |
1.2.1 性能预测 | 第12-13页 |
1.2.2 推测执行算法 | 第13-15页 |
1.2.3 数据缓存策略 | 第15页 |
1.3 研究目标和研究内容 | 第15-16页 |
1.4 论文结构 | 第16-18页 |
第二章 相关理论与技术 | 第18-28页 |
2.1 Spark介绍 | 第18-23页 |
2.1.1 总体架构 | 第18-19页 |
2.1.2 弹性分布式数据集 | 第19-20页 |
2.1.3 作业提交与调度执行 | 第20-22页 |
2.1.4 SparkSQL | 第22-23页 |
2.2 HDFS简述 | 第23-24页 |
2.3 人工神经网络 | 第24-25页 |
2.4 粒子群优化算法 | 第25-27页 |
2.5 本章小结 | 第27-28页 |
第三章 基于RBF神经网络的任务执行时间预测 | 第28-47页 |
3.1 基于RBF神经网络的预测模型 | 第28-31页 |
3.1.1 任务执行时间影响因素 | 第28-30页 |
3.1.2 神经网络模型结构 | 第30-31页 |
3.2 RBF神经网络的训练方法改进 | 第31-41页 |
3.2.1 训练方法分析 | 第31-33页 |
3.2.2 基本训练算法GD | 第33-34页 |
3.2.3 基于PSO的全局寻优算法CPSOC | 第34-39页 |
3.2.4 GD-CPSOC-GD训练过程 | 第39-41页 |
3.3 实验与结果分析 | 第41-46页 |
3.3.1 实验环境 | 第41-42页 |
3.3.2 数据集说明 | 第42页 |
3.3.3 实验结果 | 第42-46页 |
3.4 本章小结 | 第46-47页 |
第四章 基于任务执行时间预测的性能优化 | 第47-69页 |
4.1 任务调度优化 | 第47-58页 |
4.1.1 延迟调度算法优化 | 第49-53页 |
4.1.2 推测执行算法改进 | 第53-58页 |
4.2 自适应缓存策略 | 第58-63页 |
4.2.1 问题分析 | 第58-60页 |
4.2.2 并集下推优化 | 第60-61页 |
4.2.3 执行计划代价模型 | 第61-62页 |
4.2.4 算法流程 | 第62-63页 |
4.3 实验与性能分析 | 第63-68页 |
4.3.1 优化的延迟调度算法实验 | 第64-65页 |
4.3.2 改进的推测执行算法实验 | 第65-66页 |
4.3.3 自适应缓存策略实验 | 第66-68页 |
4.4 本章小结 | 第68-69页 |
第五章 基于Spark的警务数据处理平台的设计与实现 | 第69-81页 |
5.1 系统简介 | 第69-70页 |
5.1.1 实现目标 | 第69-70页 |
5.1.2 开发环境 | 第70页 |
5.2 系统整体架构 | 第70-71页 |
5.3 系统模块实现 | 第71-77页 |
5.3.1 展示层模块 | 第71-73页 |
5.3.2 业务调度层模块 | 第73-76页 |
5.3.3 数据管理层模块 | 第76-77页 |
5.4 系统功能展示 | 第77-80页 |
5.5 本章小结 | 第80-81页 |
第六章 总结与展望 | 第81-83页 |
6.1 总结 | 第81-82页 |
6.2 展望 | 第82-83页 |
致谢 | 第83-84页 |
参考文献 | 第84-88页 |
攻读硕士学位期间取得的成果 | 第88页 |