摘要 | 第3-4页 |
Abstract | 第4-5页 |
1 绪论 | 第8-15页 |
1.1 选题背景及研究意义 | 第8-9页 |
1.2 国内外研究现状 | 第9-13页 |
1.2.1 分布式文件系统研究 | 第9-10页 |
1.2.2 分布式文件放置策略研究 | 第10-13页 |
1.3 论文研究内容 | 第13页 |
1.4 论文组织结构 | 第13-15页 |
2 分布式文件系统技术 | 第15-23页 |
2.1 分布式文件系统概述 | 第15-19页 |
2.1.1 分布式文件系统定义与特点 | 第15-16页 |
2.1.2 分布式文件系统关键技术 | 第16-17页 |
2.1.3 常见分布式文件系统举例 | 第17-19页 |
2.2 HDFS文件系统 | 第19-22页 |
2.2.1 HDFS文件系统架构 | 第19-20页 |
2.2.2 HDFS文件系统基本特征 | 第20-21页 |
2.2.3 HDFS文件系统写数据流程 | 第21-22页 |
2.3 本章小结 | 第22-23页 |
3 不依赖访问热度信息的分布式文件放置算法 | 第23-42页 |
3.1 HDFS文件放置模型提取 | 第23-26页 |
3.1.1 HDFS文件放置相关源码分析 | 第23-25页 |
3.1.2 HDFS文件放置算法描述 | 第25页 |
3.1.3 HDFS文件放置算法的不足 | 第25-26页 |
3.2 HDFS文件放置结果分析 | 第26-31页 |
3.2.1 Hadoop集群环境 | 第26-30页 |
3.2.2 Hadoop集群文件放置结果分析 | 第30-31页 |
3.3 不依赖文件访问热度的放置算法(WDFPA)实现 | 第31-35页 |
3.3.1 时间区间的划分 | 第32-33页 |
3.3.2 各时间区间数据量的统计及其动态更新 | 第33页 |
3.3.3 定义文件放置负载因子 | 第33-34页 |
3.3.4 基于负载因子文件放置策略 | 第34-35页 |
3.4 实验设计与结果分析 | 第35-41页 |
3.4.1 实验平台开发环境 | 第35页 |
3.4.2 实验设计 | 第35-36页 |
3.4.3 实验数据 | 第36-37页 |
3.4.4 实验结果及分析 | 第37-41页 |
3.5 本章小结 | 第41-42页 |
4 基于WDFPA算法的副本管理策略 | 第42-52页 |
4.1 常见的副本管理策略 | 第42-44页 |
4.1.1 HDFS默认的副本管理策略 | 第42-43页 |
4.1.2 基于文件热度的副本管理策略 | 第43-44页 |
4.2 基于WDFPA算法的副本管理策略 | 第44-46页 |
4.2.1 WDFPA算法的应用 | 第44-45页 |
4.2.2 基于WDFPA算法的副本管理策略实现 | 第45-46页 |
4.3 实验及结果分析 | 第46-51页 |
4.3.1 各数据节点存储负载情况 | 第47-48页 |
4.3.2 各数据节点访问负载情况 | 第48-49页 |
4.3.3 文件系统的存储负载变化情况 | 第49-51页 |
4.4 本章小结 | 第51-52页 |
5 总结与展望 | 第52-54页 |
5.1 总结 | 第52-53页 |
5.2 展望 | 第53-54页 |
致谢 | 第54-55页 |
参考文献 | 第55-59页 |
附录 | 第59页 |