Hadoop平台基准性能测试工具的设计与实现
| 摘要 | 第4-5页 |
| Abstract | 第5页 |
| 第1章 绪论 | 第8-14页 |
| 1.1 课题背景 | 第8-10页 |
| 1.1.1 课题来源 | 第8页 |
| 1.1.2 课题目的与意义 | 第8-10页 |
| 1.2 国内外研究现状 | 第10-12页 |
| 1.2.1 分布式平台研究现状 | 第10页 |
| 1.2.2 Hadoop平台性能分析研究现状 | 第10-11页 |
| 1.2.3 Hadoop平台评测工具研究现状 | 第11-12页 |
| 1.3 主要研究内容 | 第12-13页 |
| 1.4 本文结构 | 第13-14页 |
| 第2章 Hadoop平台基准性能测试工具设计 | 第14-30页 |
| 2.1 Hadoop平台概述 | 第14-17页 |
| 2.2 Hadoop平台性能测试指标 | 第17-19页 |
| 2.3 Hadoop平台性能测试工具整体框架设计 | 第19-22页 |
| 2.3.1 整体架构 | 第19-20页 |
| 2.3.2 工作流程 | 第20-22页 |
| 2.4 基准性能测试工具模块设计 | 第22-29页 |
| 2.4.1 负载发生工具设计 | 第22-23页 |
| 2.4.2 资源监控系统设计 | 第23-24页 |
| 2.4.3 性能追踪工具PerfTrace设计 | 第24-29页 |
| 2.5 本章小结 | 第29-30页 |
| 第3章 Hadoop平台基准性能测试工具的实现 | 第30-48页 |
| 3.1 负载发生工具实现 | 第30-40页 |
| 3.1.1 改进的DFSIO测试程序 | 第30-34页 |
| 3.1.2 Map Reduce代表性测试程序集 | 第34-40页 |
| 3.2 资源监控工具实现 | 第40-42页 |
| 3.2.1 Hadoop与Ganglia的集成 | 第40-42页 |
| 3.3 性能追踪工具实现 | 第42-46页 |
| 3.3.1 基于Btrace的追踪工具实现 | 第42-44页 |
| 3.3.2 Map Reduce运行框架分解追踪 | 第44-45页 |
| 3.3.3 追踪子系统性能影响 | 第45-46页 |
| 3.4 测试工具的集成与部署 | 第46-47页 |
| 3.5 本章小结 | 第47-48页 |
| 第4章 工具测试与性能分析 | 第48-75页 |
| 4.1 Hadoop负载程序分析 | 第48-54页 |
| 4.1.1 负载数据流分析 | 第48-50页 |
| 4.1.2 负载执行时间分析 | 第50-51页 |
| 4.1.3 负载类型分析 | 第51-54页 |
| 4.2 Hadoop整体性能测试 | 第54-59页 |
| 4.2.1 HDFS读写性能测试 | 第55-57页 |
| 4.2.2 Map Reduce多样性负载测试 | 第57-59页 |
| 4.2.3 YARN平台性能对比 | 第59页 |
| 4.3 Map Reduce性能追踪测试 | 第59-63页 |
| 4.3.1 作业执行时间追踪 | 第60-61页 |
| 4.3.2 子过程时间信息追踪 | 第61-62页 |
| 4.3.3 子过程数据信息追踪 | 第62页 |
| 4.3.4 运行参数追踪 | 第62-63页 |
| 4.4 性能优化 | 第63-74页 |
| 4.4.1 模型提出 | 第64-65页 |
| 4.4.2 参数研究 | 第65-67页 |
| 4.4.3 WordCount作业优化 | 第67-74页 |
| 4.5 本章小结 | 第74-75页 |
| 结论 | 第75-77页 |
| 参考文献 | 第77-81页 |
| 致谢 | 第81页 |
