搜索引擎中分布式文件系统的研究与优化
| 摘要 | 第1-6页 |
| Abstract | 第6-10页 |
| 第一章 引言 | 第10-16页 |
| ·研究的背景和意义 | 第10-11页 |
| ·分布式文件系统 | 第11-14页 |
| ·分布式文件系统类型 | 第11页 |
| ·分布式文件系统的发展 | 第11-13页 |
| ·主流分布式文件系统 | 第13-14页 |
| ·木棉搜索引擎现状 | 第14页 |
| ·本文的工作内容 | 第14-15页 |
| ·本文的结构 | 第15-16页 |
| 第二章 分布式文件系统相关技术研究 | 第16-34页 |
| ·分布式文件系统基本结构 | 第16-17页 |
| ·元数据管理 | 第16-17页 |
| ·分布式文件系统缓存 | 第17页 |
| ·分布式文件系统数据冗余 | 第17页 |
| ·Google文件系统 | 第17-22页 |
| ·GFS的体系结构 | 第18-20页 |
| ·GFS元数据管理 | 第20页 |
| ·GFS的系统交互 | 第20-22页 |
| ·GFS的容错设计和诊断工具 | 第22页 |
| ·Lustre文件系统 | 第22-27页 |
| ·Lustre介绍 | 第22页 |
| ·Lustre的体系结构 | 第22-25页 |
| ·Lustre的文件存储方式 | 第25-27页 |
| ·Hadoop | 第27-32页 |
| ·Hadoop分布式计算框架 | 第27-28页 |
| ·Hadoop分布式文件系统 | 第28-32页 |
| ·本章小结 | 第32-34页 |
| 第三章 HDFS的核心实现和性能分析 | 第34-46页 |
| ·系统的实现目标 | 第34页 |
| ·HDFS的数据组织方式 | 第34-38页 |
| ·本地数据块组织 | 第34-35页 |
| ·HDFS中数据组织层次 | 第35-38页 |
| ·HDFS的读写过程分析 | 第38-43页 |
| ·HDFS读数据块 | 第39-41页 |
| ·HDFS写数据块 | 第41-43页 |
| ·HDFS性能分析 | 第43-45页 |
| ·本地写数据的磁盘选择 | 第43-44页 |
| ·对写数据块的一些分析 | 第44-45页 |
| ·本章小结 | 第45-46页 |
| 第四章 对HDFS的改进与实现 | 第46-59页 |
| ·搜索引擎中的分布式文件系统 | 第46页 |
| ·HDFS中写数据策略 | 第46-50页 |
| ·Radom算法的优略 | 第47-48页 |
| ·基于磁盘负载和磁盘空间的综合算法 | 第48-49页 |
| ·算法的实现方式 | 第49-50页 |
| ·HDFS写数据块流程优化 | 第50-57页 |
| ·数据节点处理数据块的方式 | 第50-55页 |
| ·并行数据处理方式 | 第55页 |
| ·并行算法的实现 | 第55-57页 |
| ·本章小结 | 第57-59页 |
| 第五章 系统测试及分析 | 第59-66页 |
| ·测试环境 | 第59-60页 |
| ·硬件环境 | 第59页 |
| ·软件环境 | 第59-60页 |
| ·测试方法及参数配置 | 第60-63页 |
| ·测试内容 | 第60-62页 |
| ·测试配置 | 第62-63页 |
| ·测试结果及分析 | 第63-65页 |
| ·本章小结 | 第65-66页 |
| 结论 | 第66-68页 |
| 参考文献 | 第68-72页 |
| 致谢 | 第72页 |
