摘要 | 第5-6页 |
abstract | 第6页 |
第1章 绪论 | 第9-17页 |
1.1 课题的研究背景 | 第9-11页 |
1.2 研究目的与意义 | 第11-12页 |
1.3 课题来源及应用场景分析 | 第12-13页 |
1.4 国内外研究现状 | 第13-15页 |
1.5 本文研究的主要内容及组织结构 | 第15-17页 |
第2章 分布式存储技术研究 | 第17-30页 |
2.1 大规模分布式存储系统介绍 | 第17页 |
2.2 Google File System(GFS) | 第17-20页 |
2.2.1 GFS的系统架构 | 第18-19页 |
2.2.2 GFS解决性能瓶颈的关键技术 | 第19-20页 |
2.3 Hadoop File System (HDFS) | 第20-21页 |
2.4 Taobao文件系统 | 第21-22页 |
2.5 基本索引算法 | 第22-24页 |
2.5.1 哈希索引算法 | 第22-23页 |
2.5.2 B树索引算法 | 第23-24页 |
2.6 内存分配算法 | 第24-27页 |
2.6.1 常见的内存分配算法 | 第24-25页 |
2.6.2 内存池介绍 | 第25-27页 |
2.7 数据压缩 | 第27-29页 |
2.7.1 压缩算法 | 第27-28页 |
2.7.2 列式存储 | 第28-29页 |
2.8 本章小结 | 第29-30页 |
第3章 基于分布式的底层存储设计模型 | 第30-45页 |
3.1 面向大数据的需求分析 | 第30页 |
3.2 基于分布式的存储设计整体架构 | 第30-31页 |
3.3 面向二进制字节流的存储模型 | 第31-41页 |
3.3.1 类文件系统的存储结构模型 | 第31-37页 |
3.3.2 类文件系统的存储结构的索引结构模型 | 第37-41页 |
3.4 基于类文件系统的数据结构模型的存储算法 | 第41-44页 |
3.5 本章小结 | 第44-45页 |
第4章 基于内存池的存储优化算法 | 第45-56页 |
4.1 基于内存池的存储算法 | 第45-49页 |
4.2 基于有限内存的索引算法 | 第49-54页 |
4.3 基于内存池的改进动态索引算法的索引更新 | 第54-55页 |
4.4 本章小结 | 第55-56页 |
第5章 面向大数据分析的存储算法测试 | 第56-66页 |
5.1 测试环境 | 第56-57页 |
5.2 基于类文件系统结构的性能测试 | 第57-62页 |
5.2.1 线上系统的读写性能测试 | 第57-59页 |
5.2.2 不同数据结构的存储性能测试 | 第59页 |
5.2.3 不同数据结构的压缩性能测试 | 第59-60页 |
5.2.4 不同数据结构的查询性能测试 | 第60-61页 |
5.2.5 类文件系统的数据结构的并发性能测试 | 第61-62页 |
5.2.6 类文件系统的存储结构的性能分析 | 第62页 |
5.3 基于内存池的存储性能测试 | 第62-63页 |
5.4 基于LRU算法和LFU算法的改进的动态索引算法性能测试 | 第63-65页 |
5.5 本章小结 | 第65-66页 |
结论 | 第66-68页 |
参考文献 | 第68-71页 |
攻读硕士学位期间发表的论文和取得的科研成果 | 第71-72页 |
致谢 | 第72页 |