Hadoop集群系统性能优化的研究
| 摘要 | 第1-5页 |
| Abstract | 第5-10页 |
| 1 绪论 | 第10-14页 |
| ·研究背景 | 第10-12页 |
| ·云计算概述 | 第10-11页 |
| ·Hadoop 的发展过程 | 第11-12页 |
| ·Hadoop 的研究意义 | 第12页 |
| ·本文主要研究内容 | 第12-13页 |
| ·论文组织结构 | 第13-14页 |
| 2 相关工作与 Hadoop 系统性能的研究 | 第14-20页 |
| ·Hadoop 系统性能的研究现状 | 第14-15页 |
| ·Hadoop 系统性能参数的研究 | 第15-16页 |
| ·系统性能参数的研究状态 | 第15页 |
| ·系统性能参数的分析 | 第15-16页 |
| ·Hadoop 的调度算法的分析和研究现状 | 第16-19页 |
| ·Hadoop 调度算法的分析 | 第16-17页 |
| ·作业级调度算法的研究 | 第17页 |
| ·任务级调度算法的研究 | 第17-19页 |
| ·本章小结 | 第19-20页 |
| 3 Hadoop 核心技术 | 第20-25页 |
| ·Hadoop 系统的主要特点 | 第20页 |
| ·HDFS 的体系结构和特征 | 第20-22页 |
| ·MapReduce 计算框架 | 第22-24页 |
| ·本章小结 | 第24-25页 |
| 4 系统平台的设计与搭建 | 第25-30页 |
| ·集群构架 | 第25页 |
| ·集群安装与配置 | 第25-27页 |
| ·网络配置与 ssh | 第25-26页 |
| ·Hadoop 的安装和配置 | 第26-27页 |
| ·集群监控 | 第27-29页 |
| ·Hadoop 的 Web 监控 | 第27-28页 |
| ·Ganglia 软件监控 | 第28-29页 |
| ·本章小结 | 第29-30页 |
| 5 集群性能参数自动调优信息系统 | 第30-43页 |
| ·设计需求 | 第30页 |
| ·Hadoop 系统参数的加载 | 第30-31页 |
| ·TaskConfigure 服务器 | 第31-32页 |
| ·参数信息系统的实现 | 第32-39页 |
| ·分类及节点资源利用效率 | 第32-35页 |
| ·配置参数的优化与调整 | 第35-36页 |
| ·TaskConfigure 服务器结构及功能 | 第36-39页 |
| ·测试与分析 | 第39-42页 |
| ·参数优化测试 | 第39-40页 |
| ·任务分类测试 | 第40-41页 |
| ·节点分类测试 | 第41-42页 |
| ·本章小结 | 第42-43页 |
| 6 基于节点能力的任务级自适应调度算法 | 第43-54页 |
| ·设计需求 | 第43页 |
| ·Hadoop 的 tasks 级调度策略 | 第43-45页 |
| ·任务级分配过程 | 第43-44页 |
| ·对任务级调度的分析 | 第44-45页 |
| ·带权值的 tasks 自适应分配方法 | 第45-47页 |
| ·节点权值 | 第45-46页 |
| ·权值比例参数 | 第46-47页 |
| ·tasks 自适应分配方法实现 | 第47-50页 |
| ·Tasks 自适应分配模型 | 第47-48页 |
| ·JobTracker 端的任务分配 | 第48页 |
| ·TaskTracker 端的自适应调节 | 第48-49页 |
| ·权值比例参数的分配 | 第49-50页 |
| ·测试与分析 | 第50-53页 |
| ·算法对比测试 | 第50-51页 |
| ·加压测试 | 第51-52页 |
| ·资源利用率对比 | 第52-53页 |
| ·本章小结 | 第53-54页 |
| 总结 | 第54-55页 |
| 参考文献 | 第55-59页 |
| 攻读硕士学位期间发表学术论文情况 | 第59-60页 |
| 致谢 | 第60页 |
