| 摘要 | 第4-5页 |
| Abstract | 第5-6页 |
| 第一章 绪论 | 第11-16页 |
| 1.1 研究背景和意义 | 第11-12页 |
| 1.2 研究现状 | 第12-14页 |
| 1.3 本文主要工作及结构安排 | 第14-16页 |
| 第二章 HDFS系统的介绍和性能相关因素分析 | 第16-30页 |
| 2.1 HDFS系统中的元数据分析 | 第16-22页 |
| 2.1.1 文件和目录的元数据信息 | 第16-18页 |
| 2.1.2 数据块及副本的元数据信息 | 第18-19页 |
| 2.1.3 文件、数据块、数据节点之间的映射关系 | 第19-20页 |
| 2.1.4 NameNode节点集中统一管理的元数据信息 | 第20-22页 |
| 2.2 HDFS系统中的通信机制分析 | 第22-24页 |
| 2.3 HDFS系统中典型操作解析 | 第24-26页 |
| 2.3.1 文件写入操作 | 第24-25页 |
| 2.3.2 文件读取操作 | 第25-26页 |
| 2.3.3 数据块复制操作 | 第26页 |
| 2.4 HDFS系统中主要后台管理工作 | 第26-28页 |
| 2.5 HDFS系统性能相关因素分析与面临的问题 | 第28-30页 |
| 第三章 HDFS中批量文件存储的优化 | 第30-54页 |
| 3.1 批量文件存储的优化策略 | 第30-35页 |
| 3.1.1 文件数据部署原则 | 第32页 |
| 3.1.2 用户文件合并操作 | 第32-33页 |
| 3.1.3 数据片段的关联性分析 | 第33页 |
| 3.1.4 数据片段的组装 | 第33-34页 |
| 3.1.5 “先伪删除,后真删除”策略 | 第34-35页 |
| 3.2 相关的元数据类型与结构 | 第35-36页 |
| 3.3 相关算法 | 第36-41页 |
| 3.3.1 文件数据部署算法 | 第36-38页 |
| 3.3.2 用户文件合并算法 | 第38-39页 |
| 3.3.3 数据片段关联性分析算法 | 第39-40页 |
| 3.3.4 数据片段的组装算法 | 第40-41页 |
| 3.4 批量文件的操作流程与接口 | 第41-45页 |
| 3.4.1 批量文件的写入操作 | 第41-42页 |
| 3.4.2 批量文件的读取操作 | 第42-44页 |
| 3.4.3 以组文件方式写入的文件的删除操作 | 第44-45页 |
| 3.5 程序功能实现 | 第45-47页 |
| 3.6 实验 | 第47-54页 |
| 3.6.1 实验环境 | 第47页 |
| 3.6.2 时间性能测试结果与数据分析 | 第47-51页 |
| 3.6.3 NameNode元数据大小测试结果与数据分析 | 第51-54页 |
| 第四章 HDFS系统架构优化方案 | 第54-69页 |
| 4.1 NoSQL概述 | 第54-55页 |
| 4.2 NoSQL数据库产品简介 | 第55-57页 |
| 4.3 Redis数据库介绍 | 第57-61页 |
| 4.3.1 Redis是什么 | 第57-58页 |
| 4.3.2 Redis的数据类型 | 第58-59页 |
| 4.3.3 Redis的客户端库 | 第59页 |
| 4.3.4 Redis的事务、持久化与主从复制 | 第59-61页 |
| 4.4 HDFS系统架构的优化策略 | 第61-64页 |
| 4.5 程序功能实现 | 第64-65页 |
| 4.6 实验 | 第65-69页 |
| 4.6.1 实验环境 | 第65页 |
| 4.6.2 时间性能测试结果与数据分析 | 第65-67页 |
| 4.6.3 NameNode元数据大小测试结果与数据分析 | 第67-69页 |
| 第五章 总结和展望 | 第69-71页 |
| 5.1 总结 | 第69-70页 |
| 5.2 展望 | 第70-71页 |
| 参考文献 | 第71-75页 |
| 致谢 | 第75页 |
