基于HDFS的移动超声探测小文件高效存储研究
| 摘要 | 第5-6页 |
| Abstract | 第6页 |
| 第1章 绪论 | 第11-21页 |
| 1.1 课题背景与意义 | 第11-15页 |
| 1.1.1 移动超声探测 | 第11-13页 |
| 1.1.2 移动超声探测小文件产生 | 第13-14页 |
| 1.1.3 小文件高效存储需求 | 第14-15页 |
| 1.2 研究现状 | 第15-19页 |
| 1.2.1 面向小文件存储的分布式文件系统 | 第15-17页 |
| 1.2.2 HDFS小文件存储研究现状 | 第17-19页 |
| 1.3 研究内容和创新点 | 第19-20页 |
| 1.4 本文结构 | 第20-21页 |
| 第2章HDFS分布式文件系统 | 第21-32页 |
| 2.1 Hadoop概述 | 第21-22页 |
| 2.2 HDFS体系结构 | 第22-25页 |
| 2.2.1 NameNode元数据节点 | 第23-24页 |
| 2.2.2 DataNode存储节点 | 第24-25页 |
| 2.2.3 Client客户端 | 第25页 |
| 2.3 HDFS读写文件流程 | 第25-28页 |
| 2.3.1 文件写入 | 第25-27页 |
| 2.3.2 文件读取 | 第27-28页 |
| 2.3.3 一致模型 | 第28页 |
| 2.4 HBase分布式数据库 | 第28-32页 |
| 2.4.1 HBase架构 | 第28-29页 |
| 2.4.2 HBase组成 | 第29-32页 |
| 第3章 基于HDFS小文件存储系统设计 | 第32-49页 |
| 3.1 系统架构 | 第32-34页 |
| 3.1.1 文件存储流程 | 第32-33页 |
| 3.1.2 小文件存储模块 | 第33-34页 |
| 3.2 小文件合并 | 第34-39页 |
| 3.2.1 小文件合并队列 | 第35页 |
| 3.2.2 合并策略 | 第35-36页 |
| 3.2.3 小文件合并执行 | 第36-39页 |
| 3.3 文件映射 | 第39-40页 |
| 3.4 预取机制 | 第40-46页 |
| 3.4.1 预取缓存需求 | 第40-41页 |
| 3.4.2 预取缓存结构 | 第41-44页 |
| 3.4.3 预取缓存流程 | 第44-45页 |
| 3.4.4 缓存刷新 | 第45-46页 |
| 3.5 小文件读写流程 | 第46-49页 |
| 3.5.1 小文件写流程 | 第46页 |
| 3.5.2 小文件读流程 | 第46-49页 |
| 第4章 基于聚类的文件相关分析 | 第49-65页 |
| 4.1 聚类概述 | 第49-52页 |
| 4.1.1 聚类定义 | 第49页 |
| 4.1.2 聚类分类 | 第49-51页 |
| 4.1.3 凝聚型层次聚类算法 | 第51-52页 |
| 4.1.4 K近邻算法 | 第52页 |
| 4.2 基于网格结合层次聚类的文件相关分析 | 第52-62页 |
| 4.2.1 网格聚类 | 第55-56页 |
| 4.2.2 层次聚类 | 第56-60页 |
| 4.2.3 类再分裂 | 第60-61页 |
| 4.2.4 小文件排序 | 第61-62页 |
| 4.3 钢轨探测文件相关性分析 | 第62-65页 |
| 第5章 实验与结果分析 | 第65-73页 |
| 5.1 实验环境 | 第65-67页 |
| 5.2 实验结果与分析 | 第67-73页 |
| 5.2.1 实验数据集 | 第67-69页 |
| 5.2.2 内存消耗分析 | 第69-71页 |
| 5.2.3 读性能分析 | 第71-73页 |
| 总结与展望 | 第73-74页 |
| 参考文献 | 第74-78页 |
| 攻读硕士学位期间取得的研究成果 | 第78-79页 |
| 致谢 | 第79-80页 |
| 附件 | 第80页 |
