摘要 | 第4-5页 |
ABSTRACT | 第5-6页 |
1 前言 | 第9-11页 |
1.1 论文研究的背景 | 第9页 |
1.2 论文研究内容 | 第9-10页 |
1.3 论文组织结构 | 第10-11页 |
2 Hadoop平台详解 | 第11-26页 |
2.1 Hadoop平台产生的背景 | 第11-15页 |
2.1.1 技术背景 | 第11-14页 |
2.1.2 应用背景 | 第14-15页 |
2.2 Hadoop平台核心部分 | 第15-26页 |
2.2.1 Hadoop分布式文件系统HDFS | 第16-21页 |
2.2.2 Hadoop的计算架构-MapReduce | 第21-26页 |
2.2.2.1 MapReduce运行流程 | 第21-22页 |
2.2.2.2 Map端的运行流程 | 第22-23页 |
2.2.2.3 Reduce端的运行流程 | 第23页 |
2.2.2.4 Map端的计算流程 | 第23-26页 |
3 Hadoop平台的作业调度研究 | 第26-40页 |
3.1 作业调度简述 | 第26-28页 |
3.2 作业调度流程 | 第28-30页 |
3.3 现有作业调度算法 | 第30-40页 |
3.3.1 FIFO调度算法 | 第30-32页 |
3.3.2 公平调度算法(Fair Scheduler) | 第32-38页 |
3.3.3 计算能力调度算法(Capacity Scheduler) | 第38-40页 |
3.4 本章小结 | 第40页 |
4 Logistic回归的作业调度算法 | 第40-57页 |
4.1 产生背景 | 第41-42页 |
4.2 算法内容 | 第42-48页 |
4.2.1 算法思想 | 第42-47页 |
4.2.2 算法流程 | 第47-48页 |
4.3 算法实现 | 第48-50页 |
4.3.1 实现概述 | 第48页 |
4.3.2 具体实现 | 第48-50页 |
4.4 实验验证 | 第50-55页 |
4.4.1 评估方法和工作量描述 | 第50-51页 |
4.4.2 学习能力实验 | 第51-53页 |
4.4.3 决策正确率实验 | 第53-54页 |
4.4.4 性能比较实验 | 第54-55页 |
4.4.5 实验结论 | 第55页 |
4.5 本章小结 | 第55-57页 |
参考文献 | 第57-60页 |
攻读硕士学位期间发表的学术论文 | 第60-61页 |
致谢 | 第61页 |