摘要 | 第1-5页 |
ABSTRACT | 第5-10页 |
第一章 引言 | 第10-15页 |
·研究背景 | 第10-13页 |
·本文的工作 | 第13页 |
·本文的结构 | 第13-14页 |
·本章小结 | 第14-15页 |
第二章 相关技术和系统平台研究 | 第15-33页 |
·云计算概述 | 第15-20页 |
·云计算的基本概念 | 第15-17页 |
·云计算模型 | 第17页 |
·云计算的特性和应用 | 第17-20页 |
·云计算的特性 | 第18页 |
·云计算的应用 | 第18-20页 |
·并行计算概述 | 第20-23页 |
·并行计算的基本概念 | 第20-21页 |
·并行计算中并行机模式 | 第21-22页 |
·并行计算模型 | 第22-23页 |
·并行算法 | 第23页 |
·MAPREDUCE 模型概述 | 第23-32页 |
·MapReduce 的编程模型 | 第24页 |
·MapReduce 的典型应用 | 第24-25页 |
·MapReduce 模型的实现方法 | 第25-29页 |
·G oogle 计算环境 | 第25-26页 |
·M apReduce 实现框架 | 第26-27页 |
·M apReduce 的任务颗粒度和并行 | 第27-28页 |
·M apReduce 的容错考虑 | 第28-29页 |
·Hadoop 中调度算法的研究 | 第29-32页 |
·本章小结 | 第32-33页 |
第三章 MAPREDUCE 在HADOOP 中的性能评估及分析 | 第33-52页 |
·HADOOP 平台的研究 | 第33-36页 |
·主从式的HDFS | 第33-34页 |
·主从式计算系统MapReduce | 第34-36页 |
·MAPREDUCE 性能评估指标的设计 | 第36-37页 |
·设计基准测试程序集 | 第37-39页 |
·基准测试程序的设计 | 第37-39页 |
·字数统计 | 第37页 |
·网页级别 | 第37-38页 |
·PennySort | 第38-39页 |
·基准测试程序集的衡量指标 | 第39页 |
·实验平台的搭建 | 第39-42页 |
·集群配置方案 | 第39-40页 |
·Hadoop 的配置与安装 | 第40-42页 |
·配置ssh 和JDK | 第40-41页 |
·Hadoop 的安装配置 | 第41-42页 |
·实验方案设计 | 第42-44页 |
·数据结构的设计 | 第42-43页 |
·对统计信息进行分析 | 第43-44页 |
·实验结果及分析 | 第44-49页 |
·任务独立响应时间与任务总响应时间 | 第44-45页 |
·平均响应时间 | 第45-46页 |
·同构机群下MapReduce 的平均响应时间 | 第45页 |
·异构机群下MapReduce 的平均响应时间 | 第45-46页 |
·加速比 | 第46-48页 |
·公平性 | 第48-49页 |
·对实验结果的分析 | 第49-51页 |
·本章小结 | 第51-52页 |
第四章 对HADOOP 调度算法的改进优化 | 第52-72页 |
·HADOOP 中调度程序的研究 | 第52-56页 |
·推测执行任务(Speculative Executing Task) | 第52-53页 |
·Hadoop 中的推测执行 | 第53-54页 |
·Hadoop 调度程序中的几点假设 | 第54-55页 |
·异构性使得Hadoop 中的假设失效 | 第55-56页 |
·机群的异构性 | 第55页 |
·异构行推翻Hadoop 的其他假设 | 第55-56页 |
·HADOOP 中与任务调度有关的类 | 第56-60页 |
·Job 创建过程 | 第57-58页 |
·Job 初始化过程 | 第58-59页 |
·Task 执行过程 | 第59-60页 |
·基于优先级加权的滑动窗口调度算法 | 第60-72页 |
·权重的计算方法及任务分配策略 | 第63-65页 |
·权重的计算方法 | 第63-64页 |
·一个轮转周期内的任务分配策略 | 第64-65页 |
·自适应调整滑动窗口的大小 | 第65-67页 |
·调整滑动窗口大小的基本思想和流程 | 第66页 |
·滑动窗口调整算法 | 第66-67页 |
·更效率的推测执行 | 第67-70页 |
·掉队者判定策略 | 第68-69页 |
·慢节点判定策略 | 第69页 |
·推测执行的实现 | 第69-70页 |
·PWSW 算法较Hadoop 调度算法的优势 | 第70-71页 |
·本章小结 | 第71-72页 |
第五章 实验及结果分析 | 第72-77页 |
·实验平台选择及配置 | 第72页 |
·实验结果及分析 | 第72-76页 |
·实验结果分析 | 第76页 |
·本章小结 | 第76-77页 |
第六章 总结和展望 | 第77-78页 |
致谢 | 第78-79页 |
参考文献 | 第79-82页 |
硕士期间经历及取得的成果 | 第82-83页 |