| 摘要 | 第2-5页 |
| Abstract | 第5-7页 |
| 第1章 绪论 | 第12-23页 |
| 1.1 研究背景及课题来源 | 第12-13页 |
| 1.1.1 研究背景 | 第12页 |
| 1.1.2 课题来源 | 第12-13页 |
| 1.2 研究现状 | 第13-19页 |
| 1.2.1 内存计算简介 | 第14页 |
| 1.2.2 内存计算存储层容错研究现状 | 第14-17页 |
| 1.2.3 内存计算存储层内存优化研究现状 | 第17-19页 |
| 1.3 主要研究工作 | 第19-23页 |
| 1.3.1 研究内容与创新点 | 第19-21页 |
| 1.3.2 组织结构 | 第21-23页 |
| 第2章 内存计算概述 | 第23-36页 |
| 2.1 引言 | 第23页 |
| 2.2 内存计算概述 | 第23-30页 |
| 2.2.1 概念 | 第23-24页 |
| 2.2.2 分类 | 第24-25页 |
| 2.2.3 典型应用 | 第25-28页 |
| 2.2.4 基准测试Benchmark | 第28-30页 |
| 2.3 内存计算框架Spark | 第30-35页 |
| 2.3.1 Spark简介 | 第30页 |
| 2.3.2 Spark生态系统 | 第30-32页 |
| 2.3.3 Spark的架构 | 第32-33页 |
| 2.3.4 Spark的应用 | 第33-34页 |
| 2.3.5 Spark待优化的问题 | 第34-35页 |
| 2.4 本章小结 | 第35-36页 |
| 第3章 内存计算环境下基于关键度的自动检查点策略 | 第36-54页 |
| 3.1 引言 | 第36-37页 |
| 3.2 相关研究 | 第37-38页 |
| 3.3 模型及相关定义 | 第38-44页 |
| 3.3.1 Spark作业执行机制 | 第39页 |
| 3.3.2 作业执行模型 | 第39-41页 |
| 3.3.3 检查点模型 | 第41-44页 |
| 3.4 基于关键度的检查点策略 | 第44-48页 |
| 3.4.1 RDD关键度生成算法 | 第45-46页 |
| 3.4.2 检查点自动选择算法 | 第46-47页 |
| 3.4.3 检查点清理算法 | 第47-48页 |
| 3.5 实验评价与比较 | 第48-53页 |
| 3.5.1 实验环境 | 第48-49页 |
| 3.5.2 检查点选择算法 | 第49-51页 |
| 3.5.3 检查点清理算法 | 第51-52页 |
| 3.5.4 综合评估 | 第52-53页 |
| 3.6 本章小结 | 第53-54页 |
| 第4章 内存计算环境下的数据失效恢复算法 | 第54-70页 |
| 4.1 引言 | 第54-55页 |
| 4.2 相关研究 | 第55-56页 |
| 4.3 模型与相关定义 | 第56-60页 |
| 4.3.1 作业执行模型 | 第56-57页 |
| 4.3.2 恢复模型 | 第57-60页 |
| 4.3.3 问题定义 | 第60页 |
| 4.4 数据失效恢复策略 | 第60-65页 |
| 4.4.1 建立基础数据 | 第61页 |
| 4.4.2 检查点设置算法 | 第61-63页 |
| 4.4.3 失效恢复算法 | 第63-65页 |
| 4.5 实验评价与比较 | 第65-69页 |
| 4.5.1 实验环境 | 第65页 |
| 4.5.2 算法综合评估测试 | 第65-66页 |
| 4.5.3 检查点设置算法 | 第66-68页 |
| 4.5.4 失效恢复算法 | 第68-69页 |
| 4.6 本章小结 | 第69-70页 |
| 第5章 基于存储区最小化和执行区按需分配的内存优化策略 | 第70-90页 |
| 5.1 引言 | 第70-72页 |
| 5.2 存在的问题 | 第72-73页 |
| 5.3 相关模型与定义 | 第73-81页 |
| 5.3.1 作业执行模型 | 第73-75页 |
| 5.3.2 存储区分配模型 | 第75-77页 |
| 5.3.3 执行区分配模型 | 第77-80页 |
| 5.3.4 问题定义 | 第80-81页 |
| 5.4 内存优化策略 | 第81-84页 |
| 5.4.1 存储区最小化算法 | 第81-82页 |
| 5.4.2 执行区按需分配算法 | 第82-84页 |
| 5.5 实验与结果分析 | 第84-89页 |
| 5.5.1 参数配置 | 第84页 |
| 5.5.2 综合评估 | 第84-87页 |
| 5.5.3 存储区最小化算法 | 第87-88页 |
| 5.5.4 执行区按需分配算法 | 第88-89页 |
| 5.6 本章小结 | 第89-90页 |
| 第6章 内存计算环境下基于小文件合并的内存优化算法 | 第90-103页 |
| 6.1 引言 | 第90-91页 |
| 6.2 相关研究 | 第91-92页 |
| 6.3 问题分析 | 第92-94页 |
| 6.3.1 内存文件系统Tachyon | 第92-93页 |
| 6.3.2 访问延迟分析 | 第93-94页 |
| 6.4 基于小文件合并的存储区优化算法 | 第94-97页 |
| 6.4.1 小文件分类 | 第94-95页 |
| 6.4.2 小文件合并策略 | 第95-96页 |
| 6.4.3 小文件分组算法 | 第96-97页 |
| 6.5 实验评价与比较 | 第97-102页 |
| 6.5.1 实验环境 | 第97-98页 |
| 6.5.2 实验分析 | 第98-102页 |
| 6.6 本章小结 | 第102-103页 |
| 第7章 内存计算环境下基于索引结构的内存优化策略 | 第103-114页 |
| 7.1 引言 | 第103页 |
| 7.2 相关研究 | 第103-105页 |
| 7.3 存在的问题 | 第105-106页 |
| 7.4 索引结构存储优化策略 | 第106-110页 |
| 7.4.1 压缩索引存储算法 | 第106-108页 |
| 7.4.2 存储优化策略 | 第108-110页 |
| 7.5 实验评价与比较 | 第110-113页 |
| 7.5.1 实验环境 | 第110页 |
| 7.5.2 实验分析 | 第110-113页 |
| 7.6 本章小结 | 第113-114页 |
| 第8章 总结与展望 | 第114-116页 |
| 8.1 工作总结 | 第114-115页 |
| 8.2 未来工作及展望 | 第115-116页 |
| 参考文献 | 第116-126页 |
| 攻读博士学位期间主要的研究成果 | 第126-128页 |
| 致谢 | 第128-130页 |