首页--工业技术论文--自动化技术、计算机技术论文--计算技术、计算机技术论文--电子数字计算机(不连续作用电子计算机)论文--存贮器论文

海量数据小文件分布式存储系统的设计与实现

摘要第5-6页
Abstract第6页
插图索引第10-11页
附表索引第11-12页
第1章 绪论第12-24页
    1.1 课题背景第12-13页
    1.2 国内外研究现状第13-21页
        1.2.1 基于 NFS 网络的文件系统第13-14页
        1.2.2 xFS 文件系统第14-16页
        1.2.3 Lustre 分布式文件系统第16-18页
        1.2.4 Global File System第18-20页
        1.2.5 其他分布式文件系统第20-21页
    1.3 分布式并行文件存储系统的研究热点第21-22页
    1.4 研究内容及意义第22-23页
    1.5 论文结构第23-24页
第2章 相关技术研究第24-29页
    2.1 分布式文件系统的若干设计准则第24-26页
        2.1.1 CAP 理论第24-25页
        2.1.2 最终一致性第25页
        2.1.3 BASE 理论第25-26页
        2.1.4 I/O 五分钟法则第26页
    2.2 分布式文件系统的相关技术第26-28页
        2.2.1 统一的名称空间第26页
        2.2.2 锁管理第26-27页
        2.2.3 数据的存取策略第27页
        2.2.4 分块存储第27-28页
        2.2.5 副本管理第28页
    2.3 小结第28-29页
第3章 海量小文件存储节点中一种自适应的数据分块方案第29-45页
    3.1 小文件及小文件系统第29-32页
        3.1.1 相关定义第29-30页
        3.1.2 连续存储方式与其他存储方式的比较第30-32页
    3.2 文件块及相关算法第32-37页
    3.3 文件块的块内利用率,块内相关率与块间相关率第37-38页
    3.4 海量小文件在单个数据节点中的自适应数据分块方案第38-41页
        3.4.1 基于块内利用率与块内相关率的文件块拆分算法第38-39页
        3.4.2 基于块间相关率的文件块合并算法第39-40页
        3.4.3 一种海量小文件的自适应数据分块方案第40-41页
    3.5 实验结果与分析第41-44页
    3.6 小结第44-45页
第4章 海量小文件存储系统的设计与实现方案第45-55页
    4.1 系统需求分析第45-46页
        4.1.1 非功能性需求第45-46页
        4.1.2 功能性需求第46页
    4.2 系统的总体框架第46-52页
        4.2.1 数据节点 DataNode第47页
        4.2.2 数据管理服务器 DataServer第47-48页
        4.2.3 文件块倒排表、文件倒排表与目录的管理第48页
        4.2.4 客户端提供与系统的交互接口 api 函数第48-52页
    4.3 系统中小文件冗余备份及一致性维护的解决方案第52-54页
        4.3.1 小文件副本数量的确定第52-53页
        4.3.2 小文件副本一致性的处理方法第53-54页
    4.4 小结第54-55页
第5章 海量小文件存储系统的实验与测试第55-63页
    5.1 测试环境搭建第55-56页
        5.1.1 环境描述第55页
        5.1.2 测试方法第55-56页
    5.2 单个数据节点及单个服务器测试结果及数据分析第56-58页
        5.2.1 单个 DataNode 读写数据准确性测试第56页
        5.2.2 单个 DataNode 写文件性能测试第56-57页
        5.2.3 单个 DataNode 清空磁盘测试第57页
        5.2.4 DataServer 的并发性能第57-58页
    5.3 系统整体测试结果及数据分析第58-62页
        5.3.1 系统整体写入性能第58-59页
        5.3.2 系统整体冗余备份性能测试第59-60页
        5.3.3 系统整体读取(查询)性能第60-61页
        5.3.4 系统的弱一致性方案测试第61-62页
    5.4 小结第62-63页
结论第63-65页
参考文献第65-69页
致谢第69页

论文共69页,点击 下载论文
上一篇:高效异步FIFO的设计实现
下一篇:基于LTE-R的高速移动宽带通信系统切换技术研究