摘要 | 第8-10页 |
ABSTRACT | 第10-11页 |
符号说明 | 第12-14页 |
第一章 绪论 | 第14-23页 |
1.1 论文选题背景 | 第14-15页 |
1.2 国内外研究现状 | 第15-20页 |
1.2.1 分布式文件系统现状 | 第15-18页 |
1.2.2 HDFS研究现状 | 第18-20页 |
1.3 研究目标及意义 | 第20-21页 |
1.3.1 研究目标 | 第20-21页 |
1.3.2 研究意义 | 第21页 |
1.4 论文内容及架构 | 第21-22页 |
1.5 本章小结 | 第22-23页 |
第二章 系统相关技术 | 第23-31页 |
2.1 Hadoop相关技术 | 第23-28页 |
2.1.1 Hadoop的系统组成 | 第23-24页 |
2.1.2 HDFS文件系统 | 第24-27页 |
2.1.3 HDFS的缺陷 | 第27-28页 |
2.2 Redis相关技术 | 第28-30页 |
2.2.1 Redis常用的数据结构 | 第28-29页 |
2.2.2 Redis常用功能 | 第29-30页 |
2.3 本章小结 | 第30-31页 |
第三章 海量小文件读写改进方案RCHDFS设计 | 第31-62页 |
3.1 现有解决方案 | 第31-35页 |
3.1.1 HAR方案 | 第31-33页 |
3.1.2 SequenceFile方案 | 第33页 |
3.1.3 HBase方案 | 第33-35页 |
3.2 改进的HDFS元数据存储方案——RCHDFS | 第35-48页 |
3.2.1 NameNode元数据内存消耗分析 | 第35-36页 |
3.2.2 访问效率分析 | 第36-37页 |
3.2.3 关于文件的定义 | 第37-38页 |
3.2.4 基于Redis集群的HDFS元数据管理系统——RCHDFS | 第38-48页 |
3.3 改进的HDFS低延时数据写入方案 | 第48-54页 |
3.3.1 HDFS数据写时间消耗分析 | 第48-50页 |
3.3.2 最优DataNode节点选择方案 | 第50-54页 |
3.4 改进的HDFS低延时数据读取方案 | 第54-60页 |
3.4.1 一种绕过NameNode直接下载文件的方案 | 第55-57页 |
3.4.2 进一步优化——混合缓存 | 第57-60页 |
3.5 方案中文件的特有操作 | 第60-61页 |
3.6 本章小结 | 第61-62页 |
第四章 RCHDFS方案的实现与系统测试 | 第62-74页 |
4.1 云平台介绍 | 第62-63页 |
4.2 分布式系统搭建 | 第63-67页 |
4.2.1 测试环境前期准备 | 第63-65页 |
4.2.2 测试环境搭建 | 第65-67页 |
4.3 方案中用到的数据结构、修改类与自定义类 | 第67-70页 |
4.4 方案测试与比较 | 第70-73页 |
4.5 本章小结 | 第73-74页 |
第五章 总结和展望 | 第74-76页 |
5.1 总结 | 第74-75页 |
5.2 展望 | 第75-76页 |
参考文献 | 第76-82页 |
致谢 | 第82-83页 |
申请的专利和参加的项目 | 第83-84页 |
学位论文评阅及答辩情況表 | 第84页 |