摘要 | 第4-6页 |
Abstract | 第6-7页 |
第1章 绪论 | 第12-21页 |
1.1 云计算平台的基本概念 | 第12-15页 |
1.1.1 云计算的发展简史 | 第12-13页 |
1.1.2 云计算平台的组织结构 | 第13-14页 |
1.1.3 云计算平台的应用 | 第14-15页 |
1.2 海量数据的高性能云计算问题 | 第15-16页 |
1.2.1 现有云计算平台的底层效率问题 | 第16页 |
1.2.2 现有云计算平台的MapReduce模式的不足之处 | 第16页 |
1.3 MPI(Message Passing Interface)与云计算 | 第16-18页 |
1.3.1 MPI简介 | 第17页 |
1.3.2 MPI与云计算相结合 | 第17-18页 |
1.4 本文的主要创新 | 第18-19页 |
1.5 本文的主要结构 | 第19-21页 |
第2章 非虚拟化云计算平台底层构建方法研究 | 第21-34页 |
2.1 虚拟化技术简介 | 第21-22页 |
2.1.1 虚拟化技术 | 第21-22页 |
2.1.2 虚拟化技术的发展历史 | 第22页 |
2.2 云计算和虚拟化技术 | 第22-25页 |
2.2.1 云计算中的虚拟化技术 | 第23页 |
2.2.2 云计算使用虚拟化技术的目的 | 第23-24页 |
2.2.3 云计算中虚拟化技术的弊端 | 第24-25页 |
2.3 基于MPI的非虚拟化云平台底层架设方法研究 | 第25-31页 |
2.3.1 Windows环境下MPI集群架设方法 | 第26-27页 |
2.3.2 Linux环境下MPI集群架设方法 | 第27-30页 |
2.3.3 操作系统异构集群 | 第30-31页 |
2.4 非虚拟化与虚拟化性能测试 | 第31-33页 |
2.5 本章小结 | 第33-34页 |
第3章 MPI三级容灾技术研究 | 第34-58页 |
3.1 消息传递接口MPI介绍 | 第34-38页 |
3.1.1 目前主要的MPI实现 | 第35-37页 |
3.1.2 MPI的容错容灾能力 | 第37-38页 |
3.2 MPI容错容灾基础技术研究 | 第38-46页 |
3.2.1 Checkpoint/Resart机制 | 第38-39页 |
3.2.2 BLCR技术 | 第39-42页 |
3.2.3 MPI进程创建与管理 | 第42-43页 |
3.2.4 Hydra进程管理器 | 第43-45页 |
3.2.5 Hydra的实现和控制流 | 第45-46页 |
3.3 MPI容灾关键技术研究 | 第46-57页 |
3.3.1 容忍MPI进程失效 | 第46-48页 |
3.3.2 检测MPI故障类型 | 第48-49页 |
3.3.3 一级容灾 作业重调度 | 第49-51页 |
3.3.4 二级容灾 作业/任务恢复 | 第51-54页 |
3.3.5 三级容灾 动态任务迁移 | 第54-57页 |
3.4 本章小结 | 第57-58页 |
第4章 基于MPI的MapReduce模型研究 | 第58-79页 |
4.1 MapReduce模型概述 | 第58-65页 |
4.1.1 MapReduce模型的作业调度技术 | 第59-60页 |
4.1.2 MapReduce模型的任务调度技术 | 第60-63页 |
4.1.3 MapReduce模型的容错容灾技术 | 第63-64页 |
4.1.4 现有MapReduce模型的不足 | 第64-65页 |
4.2 基于MPI的MapReduce模型的作业管理 | 第65-66页 |
4.3 基于MPI的MapReduce模型的任务管理 | 第66-75页 |
4.3.1 作业分片技术 | 第66-69页 |
4.3.2 静态任务调度技术 | 第69-70页 |
4.3.3 工作池调度技术 | 第70-71页 |
4.3.4 工作池技术的改进 | 第71页 |
4.3.5 线程池技术 | 第71-73页 |
4.3.6 异构环境上的负载均衡技术 | 第73-74页 |
4.3.7 重叠技术 | 第74页 |
4.3.8 两级reduce | 第74-75页 |
4.3.9 内存映射技术 | 第75页 |
4.4 监控模块 | 第75-78页 |
4.4.1 加入监控模块的意义 | 第75-77页 |
4.4.2 基于MPI的监控 | 第77页 |
4.4.3 基于socket通信的监控 | 第77-78页 |
4.5 本章小结 | 第78-79页 |
第5章 MPI高性能云计算平台原型系统实现 | 第79-114页 |
5.1 MPI高性能云计算平台架构 | 第79-80页 |
5.2 MPI-based HPCCP平台模块设计 | 第80-82页 |
5.3 MPI三级容灾模型(Linux) | 第82-90页 |
5.3.1 业务流程 | 第82-83页 |
5.3.2 模块设计 | 第83-87页 |
5.3.3 三级容灾方案 | 第87-90页 |
5.4 MPI二级容灾模型(Windows) | 第90-95页 |
5.4.1 业务流程 | 第91-92页 |
5.4.2 模块设计 | 第92-95页 |
5.4.3 二级容灾方案 | 第95页 |
5.5 MPI高性能云计算平台的容灾策略 | 第95-97页 |
5.5.1 预期的商业策略 | 第95-96页 |
5.5.2 三级容灾策略(Linux) | 第96-97页 |
5.5.3 二级容灾策略(Windows) | 第97页 |
5.6 监控的实现 | 第97-101页 |
5.6.1 基于MPI的监控的实现 | 第98-99页 |
5.6.2 基于非阻塞socket通信监控的实现 | 第99-100页 |
5.6.3 监控的运行机制 | 第100-101页 |
5.7 基于MPI的MapReduce模型的作业管理 | 第101-103页 |
5.8 基于MPI的MapReduce模型的任务管理 | 第103-109页 |
5.8.1 Master节点 | 第104-106页 |
5.8.2 Worker节点 | 第106-108页 |
5.8.3 容灾的实现 | 第108-109页 |
5.9 基于MPI的MapReduce模型执行流程 | 第109-111页 |
5.10 MPI高性能云计算平台开发接口 | 第111-113页 |
5.10.1 Master模块 | 第111-112页 |
5.10.2 Worker模块 | 第112-113页 |
5.11 本章小结 | 第113-114页 |
第6章 MPI高性能云计算平台测试 | 第114-124页 |
6.1 硬件环境 | 第115-116页 |
6.2 分片大小对系统性能的影响 | 第116-118页 |
6.3 平台容灾性能测试 | 第118-121页 |
6.3.1 测试环境 | 第118页 |
6.3.2 测试方法 | 第118-119页 |
6.3.3 测试结果 | 第119-121页 |
6.4 MPI高性能云计算平台和Hadoop的性能比较 | 第121-123页 |
6.5 本章小结 | 第123-124页 |
第7章 总结及展望 | 第124-127页 |
7.1 主要工作总结 | 第124-125页 |
7.2 未来工作展望 | 第125-127页 |
参考文献 | 第127-133页 |
致谢 | 第133-134页 |
攻读博士学位期间参加科研项目情况 | 第134-135页 |
攻读博士学位期间发表的论文和专利 | 第135页 |