非CDN环境小文件存取优化研究
| 摘要 | 第5-6页 |
| Abstract | 第6页 |
| 第一章 绪论 | 第10-16页 |
| 1.1 研究背景 | 第10-11页 |
| 1.2 系统运行环境简介 | 第11-12页 |
| 1.3 国内外研究现状 | 第12-13页 |
| 1.4 研究目标与内容 | 第13页 |
| 1.4.1. 研究内容 | 第13页 |
| 1.4.2. 研究目标 | 第13页 |
| 1.5 论文结构 | 第13-16页 |
| 第二章 分布式文件系统相关技术研究 | 第16-34页 |
| 2.1 面向小文件的分布式文件系统 | 第16-27页 |
| 2.1.1 TFS | 第16-20页 |
| 2.1.2 FastDFS | 第20-23页 |
| 2.1.3 Haystack | 第23-27页 |
| 2.2 相关的缓存算法 | 第27-31页 |
| 2.2.1 缓存算法的发展 | 第27-29页 |
| 2.2.2 LRU缓存淘汰策略的实现 | 第29-30页 |
| 2.2.3 2Q的原理 | 第30-31页 |
| 2.3 weedfs数据存储及特点 | 第31-32页 |
| 2.3.1 Weedfs的数据存储 | 第31页 |
| 2.3.2 Weedfs的缺点 | 第31-32页 |
| 2.4 本章小结 | 第32-34页 |
| 第三章 基于企业统一平台构建小文件服务 | 第34-46页 |
| 3.1 Fastdfs和weedfs原理对比 | 第34-35页 |
| 3.2 weedfs读写性能测试 | 第35-39页 |
| 3.2.1 文件写入性能比较 | 第36-37页 |
| 3.2.2 文件读取性能比较 | 第37-38页 |
| 3.2.3 总文件数对性能的影响 | 第38-39页 |
| 3.3 操作系统参数配置 | 第39-43页 |
| 3.3.1 文件系统 | 第39-41页 |
| 3.3.2 IO调度器 | 第41-42页 |
| 3.3.3 内核参数调整 | 第42-43页 |
| 3.4 基于统一平台的软件镜像构建 | 第43-45页 |
| 3.5 本章小结 | 第45-46页 |
| 第四章 基于weedfs的读取性能改进 | 第46-68页 |
| 4.1 缓存对性能影响分析 | 第46页 |
| 4.2 系统模块架构和流程 | 第46-49页 |
| 4.2.1 系统模块架构图 | 第47页 |
| 4.2.2 文件下载流程 | 第47-49页 |
| 4.3 针对master节点的改进 | 第49-55页 |
| 4.3.1 心跳消息处理 | 第49-50页 |
| 4.3.2 缓存区域分配策略实现 | 第50-54页 |
| 4.3.3 缓存再分配抑制 | 第54-55页 |
| 4.4 针对volume节点的改进 | 第55-65页 |
| 4.4.1 缓存淘汰模块实现 | 第55-63页 |
| 4.4.2 Hint processor实现 | 第63-64页 |
| 4.4.3 Cache一致性实现 | 第64-65页 |
| 4.5 针对客户端的改进 | 第65页 |
| 4.6 本章小结 | 第65-68页 |
| 第五章 基于机器学习的缓存优化 | 第68-80页 |
| 5.1 传统的缓存淘汰算法 | 第69-71页 |
| 5.2 智能缓存算法 | 第71页 |
| 5.3 基于机器学习的缓存算法实现 | 第71-78页 |
| 5.3.1 离线模块 | 第71-74页 |
| 5.3.2 在线模块 | 第74-75页 |
| 5.3.3 原始数据采集 | 第75页 |
| 5.3.4 数据预处理 | 第75-76页 |
| 5.3.5 训练 | 第76-78页 |
| 5.4 本章小结 | 第78-80页 |
| 第六章 性能测试与讨论 | 第80-90页 |
| 6.1 实验环境 | 第80页 |
| 6.2 2Q优化影响测试 | 第80-83页 |
| 6.2.1 幂次分布测试 | 第80-81页 |
| 6.2.2 幂次分布和顺序读取混合测试 | 第81-83页 |
| 6.3 分类器测试 | 第83-85页 |
| 6.4 整体性能测试 | 第85-89页 |
| 6.4.1 命中率测试 | 第85-86页 |
| 6.4.2 服务性能测试 | 第86-89页 |
| 6.5 本章小结 | 第89-90页 |
| 第七章 总结与展望 | 第90-92页 |
| 7.1. 总结 | 第90页 |
| 7.2. 展望 | 第90-92页 |
| 致谢 | 第92-94页 |
| 参考文献 | 第94-98页 |
| 附录A (攻读学位其间发表论文目录) | 第98页 |
