Hama中满足公平性和负载均衡资源调度器的研究及实现
| 摘要 | 第5-6页 |
| ABSTRACT | 第6-7页 |
| 第一章 绪论 | 第10-14页 |
| 1.1 课题的背景与意义 | 第10-11页 |
| 1.2 课题研究现状 | 第11-12页 |
| 1.3 课题主要研究内容 | 第12页 |
| 1.4 本论文的结构安排 | 第12-14页 |
| 第二章 Hama并行计算框架及相关技术研究 | 第14-29页 |
| 2.1 Hadoop平台技术 | 第14-22页 |
| 2.1.1 Hadoop分布式文件系统 | 第15-18页 |
| 2.1.2 MapReduce计算框架 | 第18-22页 |
| 2.2 BSP计算模型 | 第22-24页 |
| 2.3 Pregel图并行计算框架 | 第24-25页 |
| 2.4 Hama并行计算框架 | 第25-28页 |
| 2.5 本章小结 | 第28-29页 |
| 第三章 Hadoop及Hama资源调度器研究 | 第29-39页 |
| 3.1 Hadoop资源调度器 | 第29-31页 |
| 3.1.1 FIFO调度器 | 第29-30页 |
| 3.1.2 公平调度器 | 第30页 |
| 3.1.3 容量调度器 | 第30-31页 |
| 3.1.4 适用于实时作业的调度器 | 第31页 |
| 3.2 Hama FCFS资源调度器 | 第31-38页 |
| 3.2.1 Hama作业执行流程 | 第31-35页 |
| 3.2.2 FCFS资源调度器分析 | 第35-38页 |
| 3.3 本章小结 | 第38-39页 |
| 第四章 满足公平性和负载均衡资源调度器的设计 | 第39-53页 |
| 4.1 Hama作业类型 | 第39页 |
| 4.2 设计目标 | 第39-40页 |
| 4.3 资源表示模型 | 第40页 |
| 4.4 资源调度策略设计 | 第40-48页 |
| 4.4.1 资源管理 | 第41-42页 |
| 4.4.2 资源分配 | 第42-45页 |
| 4.4.3 资源调度 | 第45-47页 |
| 4.4.4 负载均衡 | 第47-48页 |
| 4.5 资源调度器配置 | 第48-50页 |
| 4.6 资源调度器工作流程 | 第50-52页 |
| 4.7 本章小结 | 第52-53页 |
| 第五章 满足公平性和负载均衡资源调度器的实现 | 第53-66页 |
| 5.1 实现概述 | 第53页 |
| 5.2 具体实现 | 第53-65页 |
| 5.2.1 作业管理实现 | 第56-57页 |
| 5.2.2 资源管理实现 | 第57-58页 |
| 5.2.3 资源分配实现 | 第58-59页 |
| 5.2.4 资源调度实现 | 第59-62页 |
| 5.2.5 负载均衡实现 | 第62-64页 |
| 5.2.6 配置文件监听实现 | 第64-65页 |
| 5.3 本章小结 | 第65-66页 |
| 第六章 实验验证 | 第66-75页 |
| 6.1 实验环境 | 第66页 |
| 6.2 实验目的 | 第66-67页 |
| 6.3 功能测试 | 第67-71页 |
| 6.3.1 多用户共享集群 | 第67-70页 |
| 6.3.2 负载均衡 | 第70-71页 |
| 6.4 性能测试 | 第71-74页 |
| 6.4.1 单作业性能对比 | 第71-72页 |
| 6.4.2 多作业性能对比 | 第72-74页 |
| 6.5 本章小结 | 第74-75页 |
| 第七章 全文总结与展望 | 第75-77页 |
| 7.1 全文总结 | 第75页 |
| 7.2 后续工作展望 | 第75-77页 |
| 致谢 | 第77-78页 |
| 参考文献 | 第78-81页 |
| 攻读硕士学位期间取得的成果 | 第81-82页 |
