| 摘要 | 第1-5页 |
| Abstract | 第5-8页 |
| 专用术语注释表 | 第8-9页 |
| 第一章 绪论 | 第9-14页 |
| ·研究背景 | 第9-10页 |
| ·研究现状 | 第10-12页 |
| ·Hadoop 小文件处理 | 第10页 |
| ·Hadoop 技术上的新需求 | 第10-12页 |
| ·研究内容与意义 | 第12-13页 |
| ·本文的组织 | 第13-14页 |
| 第二章 相关技术研究 | 第14-26页 |
| ·Hadoop 分布式平台结构 | 第14-20页 |
| ·HDFS 分布式存储架构 | 第14-18页 |
| ·相关通信协议 | 第18页 |
| ·MapReduce 编程框架 | 第18-20页 |
| ·MapReduce 作业执行流程 | 第20页 |
| ·Trie 树索引 | 第20-22页 |
| ·Hadoop 处理小文件相关技术 | 第22-23页 |
| ·Hadoop 处理小文件关键问题 | 第23-25页 |
| ·存储问题 | 第23-25页 |
| ·读写问题 | 第25页 |
| ·本章小结 | 第25-26页 |
| 第三章 小文件解决方案的分析和设计 | 第26-38页 |
| ·归档文件和序列化文件 | 第26-28页 |
| ·归档文件技术 | 第26-27页 |
| ·序列化文件技术 | 第27-28页 |
| ·系统总体结构设计 | 第28-29页 |
| ·小文件存储优化结构设计 | 第29-32页 |
| ·小文件优化方案 | 第29-30页 |
| ·小文件优化方案设计 | 第30-31页 |
| ·小文件优化方案的不足之处 | 第31-32页 |
| ·小文件索引的结构设计 | 第32-33页 |
| ·小文件优化算法设计 | 第33-36页 |
| ·Writable 类和 SequenceFile 类 | 第33-35页 |
| ·数据类型设计 | 第35页 |
| ·合并算法的设计 | 第35-36页 |
| ·可行性分析 | 第36-37页 |
| ·本章小结 | 第37-38页 |
| 第四章 小文件解决方案的实现 | 第38-48页 |
| ·总体架构实现 | 第38-39页 |
| ·小文件存储优化的实现 | 第39-41页 |
| ·HDFS 的 I/O 数据检查 | 第39-40页 |
| ·数据压缩 | 第40-41页 |
| ·小文件合并算法 | 第41-45页 |
| ·数据的 I/O 序列化操作 | 第41-42页 |
| ·合并算法的实现 | 第42-45页 |
| ·小文件索引创建的实现 | 第45-47页 |
| ·本章小结 | 第47-48页 |
| 第五章 系统测试与分析 | 第48-58页 |
| ·实验环境 | 第49页 |
| ·实验用到的主要 JAVA 类 | 第49-50页 |
| ·实验结果分析与比较 | 第50-56页 |
| ·上传文件测试 | 第50-54页 |
| ·访问文件测试 | 第54-56页 |
| ·本章小结 | 第56-58页 |
| 第六章 总结与展望 | 第58-60页 |
| ·工作总结 | 第58页 |
| ·工作展望 | 第58-60页 |
| 参考文献 | 第60-62页 |
| 附录 1 攻读硕士学位期间参加的科研项目 | 第62-63页 |
| 致谢 | 第63页 |