Hadoop集群环境下调度算法的研究与改进
| 摘要 | 第1-5页 |
| ABSTRACT | 第5-12页 |
| 缩略词 | 第12-13页 |
| 第一章 绪论 | 第13-18页 |
| ·课题研究背景 | 第13-14页 |
| ·国内外研究现状 | 第14-16页 |
| ·本文研究意义 | 第16-17页 |
| ·本文研究内容与章节安排 | 第17-18页 |
| 第二章 Hadoop 调度相关知识介绍 | 第18-31页 |
| ·引言 | 第18页 |
| ·Hadoop 分布式计算平台 | 第18-23页 |
| ·MapReduce 编程模型 | 第18-19页 |
| ·Hadoop 分布式文件系统 | 第19-20页 |
| ·Hadoop 中计算框架结构 | 第20-21页 |
| ·Hadoop 上文件执行流程 | 第21-23页 |
| ·Hadoop 常见调度算法 | 第23-27页 |
| ·FIFO 调度算法 | 第23-25页 |
| ·HOD 调度算法 | 第25-27页 |
| ·计算能力调度算法 | 第27页 |
| ·公平调度算法介绍 | 第27-31页 |
| ·公平调度算法的思想 | 第27-28页 |
| ·资源槽及其分配 | 第28-29页 |
| ·资源额度的分配 | 第29页 |
| ·资源的回收策略 | 第29-30页 |
| ·空闲资源的分配 | 第30-31页 |
| 第三章 延迟时间间隔的合理选择 | 第31-45页 |
| ·引言 | 第31页 |
| ·相关介绍 | 第31-37页 |
| ·常用概念 | 第31-32页 |
| ·调度模型的特点 | 第32-33页 |
| ·数据本地化问题 | 第33-35页 |
| ·延迟调度算法 | 第35-37页 |
| ·延迟调度算法分析 | 第37-41页 |
| ·合理选择延迟时间间隔的重要性 | 第37-38页 |
| ·数据分布特点对本地化调度的影响 | 第38-39页 |
| ·等待时间模型的建立 | 第39-41页 |
| ·改进的延迟调度算法 | 第41页 |
| ·数据仿真实验与分析 | 第41-44页 |
| ·实验环境设置 | 第41-43页 |
| ·实验结果分析 | 第43-44页 |
| ·本章总结 | 第44-45页 |
| 第四章 目标计算节点的重新构造 | 第45-64页 |
| ·引言 | 第45页 |
| ·延迟调度算法的局限性 | 第45-49页 |
| ·理论分析 | 第45-47页 |
| ·实验分析 | 第47-49页 |
| ·改进目标 | 第49页 |
| ·关于目标计算节点重新构造模型的建立 | 第49-54页 |
| ·完成时间计算 | 第49-51页 |
| ·目标计算节点重构步骤 | 第51-54页 |
| ·延迟-容量调度算法 | 第54页 |
| ·源代码修改 | 第54-58页 |
| ·关键数据结构介绍 | 第54-56页 |
| ·本地化任务选取 | 第56-57页 |
| ·重构目标节点算法的实现 | 第57页 |
| ·代码编译 | 第57-58页 |
| ·算法实验 | 第58-63页 |
| ·实验环境设置 | 第58-59页 |
| ·实验数据选取 | 第59-60页 |
| ·实验 1 | 第60-61页 |
| ·实验 2 | 第61页 |
| ·实验 3 | 第61-62页 |
| ·结果分析 | 第62-63页 |
| ·本章总结 | 第63-64页 |
| 第五章 延迟容量调度算法的应用 | 第64-72页 |
| ·引言 | 第64页 |
| ·电网监控并行平台 | 第64-65页 |
| ·公式计算描述 | 第65-66页 |
| ·并行化设计思路 | 第66-68页 |
| ·MapReduce 编程实现 | 第68-69页 |
| ·性能测试 | 第69-71页 |
| ·环境配置 | 第69页 |
| ·实验设置 | 第69-70页 |
| ·测试结果 | 第70-71页 |
| ·本章小结 | 第71-72页 |
| 第六章 总结与展望 | 第72-74页 |
| ·本文总结 | 第72页 |
| ·研究展望 | 第72-74页 |
| 参考文献 | 第74-78页 |
| 致谢 | 第78-79页 |
| 在学期间的研究成果及发表的学术论文 | 第79页 |