数据密集型异构系统的若干关键技术研究
| 摘要 | 第5-7页 |
| Abstract | 第7-8页 |
| 第1章 绪论 | 第16-24页 |
| 1.1 研究背景与意义 | 第17-19页 |
| 1.1.1 推测执行策略的研究背景与意义 | 第17-18页 |
| 1.1.2 数据布局策略的研究背景与意义 | 第18-19页 |
| 1.2 本文工作解决的问题和思路 | 第19-22页 |
| 1.2.1 基于系统负载的推测执行策略 | 第19-20页 |
| 1.2.2 基于异构感知的推测执行策略 | 第20-21页 |
| 1.2.3 基于分区粒度的文件布局策略 | 第21页 |
| 1.2.4 基于分条粒度的文件布局策略 | 第21-22页 |
| 1.3 本文组织结构 | 第22-24页 |
| 第2章 研究基础与相关进展 | 第24-45页 |
| 2.1 数据密集异构分布式系统与相关研究 | 第24-34页 |
| 2.1.1 MapReduce集群与信息物理系统 | 第24-26页 |
| 2.1.2 Hadoop概述 | 第26-28页 |
| 2.1.3 节点与资源异构概述 | 第28-29页 |
| 2.1.4 Hadoop容错技术概述 | 第29-31页 |
| 2.1.5 推测执行及相关研究 | 第31-33页 |
| 2.1.6 任务调度器概述 | 第33-34页 |
| 2.2 数据密集型异构并行系统与相关研究 | 第34-44页 |
| 2.2.1 超级计算机与高性能集群 | 第35-36页 |
| 2.2.2 并行文件系统概述 | 第36-38页 |
| 2.2.3 存储异构概述 | 第38-40页 |
| 2.2.4 存储优化技术概述 | 第40-42页 |
| 2.2.5 数据布局策略与相关研究 | 第42-43页 |
| 2.2.6 获取访问模式概述 | 第43-44页 |
| 2.3 本章小结 | 第44-45页 |
| 第3章 基于系统负载的推测执行策略 | 第45-64页 |
| 3.1 策略设计思路 | 第45-51页 |
| 3.1.1 Hadoop-NA?VE策略 | 第46-47页 |
| 3.1.2 Hadoop-LATE策略 | 第47-48页 |
| 3.1.3 LATE策略的缺陷 | 第48-51页 |
| 3.2 基于系统负载的推测执行策略 | 第51-56页 |
| 3.2.1 任务剩余时间评估改进 | 第51-54页 |
| 3.2.2 任务优先级判定改进 | 第54-55页 |
| 3.2.3 掉队任务判定改进 | 第55页 |
| 3.2.4 备份节点选择改进 | 第55-56页 |
| 3.2.5 ERSL策略推测执行流程 | 第56页 |
| 3.3 实验与分析 | 第56-62页 |
| 3.3.1 实验设置 | 第56-58页 |
| 3.3.2 剩余执行时间评估准确性验证 | 第58-59页 |
| 3.3.3 作业完成时间比较 | 第59-62页 |
| 3.3.4 集群作业吞吐量比较 | 第62页 |
| 3.4 本章小结 | 第62-64页 |
| 第4章 基于异构感知的推测执行策略 | 第64-79页 |
| 4.1 策略设计思路 | 第64-69页 |
| 4.1.1 Hadoop-MCP策略 | 第64-67页 |
| 4.1.2 MCP策略的缺陷 | 第67-69页 |
| 4.2 基于异构感知的推测执行策略 | 第69-73页 |
| 4.2.1 任务分类改进 | 第69-70页 |
| 4.2.2 备份节点选择的改进 | 第70-71页 |
| 4.2.3 MCP模型的改进 | 第71-72页 |
| 4.2.4 HMCP策略推测执行流程 | 第72-73页 |
| 4.3 实验与分析 | 第73-78页 |
| 4.3.1 实验设置 | 第73-74页 |
| 4.3.2 推测执行成功率比较 | 第74页 |
| 4.3.3 作业完成时间比较 | 第74-77页 |
| 4.3.4 集群作业吞吐量比较 | 第77页 |
| 4.3.5 策略代价分析 | 第77-78页 |
| 4.4 本章小结 | 第78-79页 |
| 第5章 基于分区粒度的数据布局策略 | 第79-96页 |
| 5.1 策略设计思路 | 第79-81页 |
| 5.1.1 研究对象 | 第80页 |
| 5.1.2 分区放置动机 | 第80-81页 |
| 5.2 基于分区粒度的数据布局策略 | 第81-89页 |
| 5.2.1 RLDP布局策略的步骤 | 第81-82页 |
| 5.2.2 I/O记录与分析 | 第82-83页 |
| 5.2.3 文件服务器服务访问时间 | 第83页 |
| 5.2.4 机械硬盘数据部分优化 | 第83-85页 |
| 5.2.5 分区收益分析 | 第85-86页 |
| 5.2.6 放置阶段算法 | 第86-88页 |
| 5.2.7 分区重映射 | 第88-89页 |
| 5.3 实验与分析 | 第89-94页 |
| 5.3.1 实验设置 | 第89-90页 |
| 5.3.2 不同访问请求大小的有效性验证 | 第90-92页 |
| 5.3.3 不同进程数量的有效性验证 | 第92-93页 |
| 5.3.4 不同SSD配比的有效性验证 | 第93-94页 |
| 5.4 本章小结 | 第94-96页 |
| 第6章 基于分条粒度的数据布局策略 | 第96-112页 |
| 6.1 策略设计思路 | 第96-100页 |
| 6.1.1 研究对象 | 第96-97页 |
| 6.1.2 可变分条动机 | 第97-100页 |
| 6.2 基于分条粒度的数据布局策略 | 第100-106页 |
| 6.2.1 SLDP布局策略的步骤 | 第100页 |
| 6.2.2 节点服务成本模型 | 第100-101页 |
| 6.2.3 最优分条配置决策 | 第101-104页 |
| 6.2.4 分区权重分析 | 第104-105页 |
| 6.2.5 放置阶段算法 | 第105-106页 |
| 6.3 实验与分析 | 第106-110页 |
| 6.3.1 实验设置 | 第106-107页 |
| 6.3.2 可变分条配置有效性验证 | 第107-108页 |
| 6.3.3 不同服务器配比的有效性验证 | 第108-109页 |
| 6.3.4 不同进程数量的有效性验证 | 第109页 |
| 6.3.5 与RLDP的比较 | 第109-110页 |
| 6.4 本章小结 | 第110-112页 |
| 总结与展望 | 第112-115页 |
| 1.总结 | 第112-113页 |
| 2.展望 | 第113-115页 |
| 参考文献 | 第115-125页 |
| 附录 A(攻读博士学位期间所发表的学术论文) | 第125-126页 |
| 附录 B(攻读博士学位期间所参加的科研项目) | 第126-127页 |
| 致谢 | 第127页 |
