摘要 | 第8-9页 |
ABSTRACT | 第9-10页 |
第一章 绪论 | 第11-19页 |
1.1 课题研究背景 | 第11-15页 |
1.1.1 大数据时代的到来 | 第11-12页 |
1.1.2 高性能计算机的研究现状 | 第12-14页 |
1.1.3 MapReduce在高性能计算平台上的研究现状 | 第14-15页 |
1.2 研究意义和难点 | 第15-17页 |
1.2.1 研究意义 | 第15-16页 |
1.2.2 研究难点 | 第16-17页 |
1.3 本文的主要研究内容和组织安排 | 第17-19页 |
1.3.1 本文的主要研究内容 | 第17页 |
1.3.2 本文的组织形式 | 第17-19页 |
第二章 相关技术介绍 | 第19-31页 |
2.1 MapReduce编程模型 | 第19-22页 |
2.1.1 MapReduce的产生背景 | 第19-20页 |
2.1.2 MapReduce主要思想 | 第20页 |
2.1.3 MapReduce执行过程 | 第20-21页 |
2.1.4 MapReduce实例 | 第21-22页 |
2.2 Hadoop框架介绍 | 第22-26页 |
2.2.1 Hadoop简介 | 第22-23页 |
2.2.2 Hadoop中HDFS实现 | 第23-24页 |
2.2.3 Hadoop的MapReduce架构 | 第24-26页 |
2.3 MapReduce模型的其他实现 | 第26-29页 |
2.3.1 Stanford的Phoenix系统 | 第26-27页 |
2.3.2 GPU上MapReduce实现 | 第27-28页 |
2.3.3 Spark | 第28-29页 |
2.4 本章小结 | 第29-31页 |
第三章 面向对象存储系统Hadoop框架I/O优化方法 | 第31-51页 |
3.1 面向对象存储系统高性能计算机概述 | 第31-33页 |
3.2 面向对象存储系统高性能计算机的Hadoop平台 | 第33-37页 |
3.2.1 面向对象存储系统高性能计算机的Hadoop平台I/O过程 | 第33-34页 |
3.2.2 MapReduce的shuffle过程分析map任务端分析 | 第34-35页 |
3.2.3 面向对象存储系统高性能计算机的Hadoop平台的问题分析 | 第35-37页 |
3.3 基于节点内存的中间数据I/O优化方法 | 第37-43页 |
3.3.1 问题描述 | 第37-38页 |
3.3.2 一种基于节点内存剩余量的任务调度优化方法 | 第38-42页 |
3.3.3 一种基于节点统一内存的中间数据I/O优化方法 | 第42-43页 |
3.4 一种基于均衡调度的I/O优化方法 | 第43-46页 |
3.4.1 问题描述 | 第43-44页 |
3.4.2 方法描述 | 第44-46页 |
3.5 性能测试与分析 | 第46-49页 |
3.6 本章小结 | 第49-51页 |
第四章 面向多层存储架构Hadoop框架I/O优化方法 | 第51-65页 |
4.1 基于多层存储架构的高性能计算机 | 第51-52页 |
4.2 面向多层存储架构高性能计算机的Hadoop平台 | 第52-55页 |
4.2.1 面向多层存储架构高性能计算机的Hadoop平台I/O过程 | 第52-53页 |
4.2.2 MapReduce的shuffle过程reduce任务端分析 | 第53-54页 |
4.2.3 面向多层存储架构高性能计算机的Hadoop的问题分析 | 第54-55页 |
4.3 I/O加速节点多分组的任务调度方法 | 第55-58页 |
4.3.1 问题描述 | 第55页 |
4.3.2 方法描述 | 第55-58页 |
4.4 基于存储服务隔离的I/O服务质量维护方法 | 第58-61页 |
4.4.1 问题描述 | 第59页 |
4.4.2 解决方案 | 第59-61页 |
4.5 性能与测试分析 | 第61-63页 |
4.6 本章小结 | 第63-65页 |
第五章 结论和展望 | 第65-67页 |
5.1 工作总结 | 第65-66页 |
5.2 下一步工作展望 | 第66-67页 |
致谢 | 第67-69页 |
参考文献 | 第69-73页 |
作者在学期间取得的学术成果 | 第73页 |