大数据系统基准测试和性能优化关键技术研究
| 摘要 | 第3-5页 |
| Abstract | 第5-6页 |
| 第一章 本课题研究背景和意义 | 第15-41页 |
| 1.1 大数据系统基础 | 第16-28页 |
| 1.1.1 大数据分析技术 | 第17-19页 |
| 1.1.2 大数据处理系统 | 第19-21页 |
| 1.1.3 大数据系统架构 | 第21-28页 |
| 1.2 大数据系统基准测试研究内容 | 第28-36页 |
| 1.2.1 大数据环境下的基准测试 | 第28-34页 |
| 1.2.2 大数据系统基准测试面临的挑战 | 第34-36页 |
| 1.3 基准测试与性能调优 | 第36-38页 |
| 1.3.1 性能调优与基准测试的关系 | 第36-37页 |
| 1.3.2 大数据系统性能调优常见方法 | 第37页 |
| 1.3.3 性能调优的特点和优势 | 第37-38页 |
| 1.4 本文研究内容和意义 | 第38-39页 |
| 1.5 论文组织结构 | 第39-41页 |
| 第二章 大数据系统基准测试国内外研究现状 | 第41-59页 |
| 2.1 大数据系统基准测试研究 | 第42-52页 |
| 2.1.1 大数据系统基准测试技术路线图 | 第42-45页 |
| 2.1.2 大数据系统基准测试工业标准 | 第45-48页 |
| 2.1.3 大数据基准测集试构建方法 | 第48-52页 |
| 2.2 大数据负载特征分析方法 | 第52-56页 |
| 2.2.1 硬件资源消耗特征分析 | 第52-54页 |
| 2.2.2 应用层Trace和Log分析 | 第54-55页 |
| 2.2.3 跨系统栈特征分析 | 第55-56页 |
| 2.3 大数据系统性能优化方法 | 第56-58页 |
| 2.3.1 工作流的改进 | 第56-57页 |
| 2.3.2 应用特征的优化 | 第57页 |
| 2.3.3 参数调优方法 | 第57-58页 |
| 2.4 小结 | 第58-59页 |
| 第三章 基于相似性分析的基准测试集构建方法 | 第59-82页 |
| 3.1 研究背景介绍 | 第59-64页 |
| 3.1.1 交通大数据应用 | 第60-63页 |
| 3.1.2 Hadoop平台介绍 | 第63-64页 |
| 3.2 基准测试集构建方法 | 第64-68页 |
| 3.2.1 作业级的特征选取 | 第64-66页 |
| 3.2.2 微体系结构级特征选取 | 第66-67页 |
| 3.2.3 程序行为量化分析方法 | 第67-68页 |
| 3.3 实验结果和分析 | 第68-77页 |
| 3.3.1 实验环境和测量工具 | 第68-70页 |
| 3.3.2 微体系结构级特征分析 | 第70-75页 |
| 3.3.3 作业级的特征分析 | 第75-76页 |
| 3.3.4 跨系统栈的特征分析 | 第76-77页 |
| 3.4 基准测试集SZTS的构建 | 第77-80页 |
| 3.4.1 SZTS构建 | 第77-79页 |
| 3.4.2 详细分析 | 第79-80页 |
| 3.5 本章小结 | 第80-82页 |
| 第四章 基于特征重要性的负载分析方法 | 第82-109页 |
| 4.1 研究背景介绍 | 第82-86页 |
| 4.1.1 大数据负载分析 | 第82-85页 |
| 4.1.2 大数据平台介绍 | 第85-86页 |
| 4.2 MIA分析方法 | 第86-95页 |
| 4.2.1 MIA架构介绍 | 第86-88页 |
| 4.2.2 程序特征选择 | 第88-90页 |
| 4.2.3 特征重要性计算 | 第90-93页 |
| 4.2.4 基于MIA的雷达图 | 第93-95页 |
| 4.3 实验结果和分析 | 第95-106页 |
| 4.3.1 实验环境和测量工具 | 第95-96页 |
| 4.3.2 SGBRT性能模型精度 | 第96-97页 |
| 4.3.3 特征重要性计算 | 第97-100页 |
| 4.3.4 基准测试相似性度量 | 第100-106页 |
| 4.4 相关研究工作 | 第106-108页 |
| 4.4.1 程序特征分析方法 | 第106-107页 |
| 4.4.2 大数据负载分析方法 | 第107-108页 |
| 4.5 小结 | 第108-109页 |
| 第五章 基于集成学习的HBase自动调优方法 | 第109-138页 |
| 5.1 研究背景介绍 | 第109-115页 |
| 5.1.1 HBase架构和工作流 | 第111-113页 |
| 5.1.2 参数调优面临的难点 | 第113-115页 |
| 5.1.3 随机森林算法基础 | 第115页 |
| 5.2 ATH优化方法 | 第115-121页 |
| 5.2.1 性能模型构建 | 第118-119页 |
| 5.2.2 最优参数搜索 | 第119-121页 |
| 5.3 ATH实验结果和分析 | 第121-137页 |
| 5.3.1 实验环境和测量工具 | 第122-124页 |
| 5.3.2 实验结果介绍 | 第124-130页 |
| 5.3.3 详细分析: 以UH和SR为例 | 第130-137页 |
| 5.4 本章小结 | 第137-138页 |
| 第六章 总结和展望 | 第138-141页 |
| 6.1 当前工作总结 | 第138-139页 |
| 6.2 下阶段工作展望 | 第139-141页 |
| 参考文献 | 第141-155页 |
| 发表文章目录 | 第155-156页 |
| 简历 | 第156-157页 |
| 致谢 | 第157页 |
