基于HDFS的海量分布式文件系统的研究与优化
| 摘要 | 第1-6页 |
| ABSTRACT | 第6-11页 |
| 第一章 引言 | 第11-14页 |
| ·课题背景 | 第11-12页 |
| ·课题任务 | 第12页 |
| ·课题内容 | 第12页 |
| ·本人承担任务 | 第12页 |
| ·论文结构 | 第12-14页 |
| 第二章 存储技术的发展 | 第14-19页 |
| ·直连存储DAS | 第14页 |
| ·网络连接存储NAS | 第14-15页 |
| ·存储区域网络SAN | 第15-16页 |
| ·集群系统存储技术 | 第16-17页 |
| ·基于P2P的分布式存储技术 | 第17页 |
| ·分布式存储技术的发展趋势 | 第17-18页 |
| ·本章小结 | 第18-19页 |
| 第三章 分布式文件系统相关技术研究 | 第19-30页 |
| ·分布式文件系统基本结构 | 第19-21页 |
| ·元数据管理 | 第20页 |
| ·分布式文件系统缓存 | 第20-21页 |
| ·分布式文件系统数据冗余 | 第21页 |
| ·GOOGLE文件系统 | 第21-25页 |
| ·GFS的架构 | 第21-22页 |
| ·GFS的容错设计和诊断工具 | 第22-23页 |
| ·GFS的系统交互 | 第23-24页 |
| ·GFS的扩展性能 | 第24-25页 |
| ·HADOOP文件系统 | 第25-27页 |
| ·Hadoop分布式计算框架 | 第25-26页 |
| ·Hadoop分布式文件系统 | 第26-27页 |
| ·Hadoop的扩展性能 | 第27页 |
| ·HADOOP分布式文件系统与GFS的异同之处 | 第27-29页 |
| ·本章小结 | 第29-30页 |
| 第四章 HDFS应用于分布式文件系统通用性分析 | 第30-41页 |
| ·HDFS的架构 | 第30-33页 |
| ·HDFS架构分析 | 第30-31页 |
| ·HDFS架构上的缺点 | 第31-33页 |
| ·HDFS的数据组织方式 | 第33-35页 |
| ·本地数据块组织 | 第33页 |
| ·数据组织层次 | 第33-35页 |
| ·HDFS的简单I/O过程分析 | 第35-40页 |
| ·HDFS读文件过程分析 | 第36-37页 |
| ·HDFS写文件过程分析 | 第37-39页 |
| ·HDFS文件读写性能分析 | 第39-40页 |
| ·HDFS应用场景 | 第40页 |
| ·本章小结 | 第40-41页 |
| 第五章 基于HDFS的海量分布式文件系统的优化 | 第41-57页 |
| ·基于HDFS的架构优化 | 第41-46页 |
| ·采用小集群的轻量级的系统设计 | 第41-44页 |
| ·namenode部分权限下放到datanode | 第44页 |
| ·增加上层索引系统 | 第44-45页 |
| ·双机热备份机制 | 第45-46页 |
| ·对文件存储性能的改进 | 第46-50页 |
| ·采用裸设备 | 第46-47页 |
| ·块尺寸大小设计为2G | 第47-48页 |
| ·设置偏移ID标识文件位置 | 第48-50页 |
| ·缓存策略 | 第50-52页 |
| ·namenode缓存策略 | 第50-51页 |
| ·datanode缓存策略 | 第51-52页 |
| ·客户端缓存策略 | 第52页 |
| ·改进后HDFS系统I/O过程分析 | 第52-53页 |
| ·改进后HDFS读文件 | 第52页 |
| ·改进后HDFS写文件 | 第52-53页 |
| ·系统性能测试 | 第53-55页 |
| ·实验环境 | 第53-54页 |
| ·实验设计及结果分析 | 第54-55页 |
| ·改进后HDFS应用场景 | 第55-56页 |
| ·本章小结 | 第56-57页 |
| 第六章 结束语 | 第57-59页 |
| ·论文工作总结 | 第57-58页 |
| ·问题和展望 | 第58-59页 |
| 参考文献 | 第59-61页 |
| 致谢 | 第61页 |
