小文件处理及算法并行化在Hadoop上的设计与实现
| 中文摘要 | 第3-4页 |
| 英文摘要 | 第4-5页 |
| 1 绪论 | 第8-12页 |
| 1.1 研究背景与意义 | 第8页 |
| 1.2 国内外研究现状 | 第8-10页 |
| 1.3 研究目的及内容 | 第10-11页 |
| 1.4 论文组织结构 | 第11-12页 |
| 2 HADOOP基础理论 | 第12-22页 |
| 2.1 HADOOP概述 | 第12-14页 |
| 2.2 HDFS介绍 | 第14-17页 |
| 2.2.1 HDFS概述 | 第14页 |
| 2.2.2 HDFS体系结构 | 第14-16页 |
| 2.2.3 HDFS用户接口 | 第16-17页 |
| 2.3 MAPREDUCE介绍 | 第17-21页 |
| 2.3.1 MapReduce概述 | 第17页 |
| 2.3.2 MapReduce工作机制 | 第17-20页 |
| 2.3.3 MapReduce性能调优 | 第20-21页 |
| 2.4 本章小结 | 第21-22页 |
| 3 海量小文件存储方法 | 第22-29页 |
| 3.1 整体设计 | 第22-23页 |
| 3.2 文件写入过程 | 第23-25页 |
| 3.3 文件读取过程 | 第25-28页 |
| 3.4 本章小结 | 第28-29页 |
| 4 数据挖掘算法并行化设计 | 第29-41页 |
| 4.1 K-均值算法 | 第29-35页 |
| 4.1.1 算法概述 | 第29-30页 |
| 4.1.2 并行化设计 | 第30-35页 |
| 4.2 FP-GROWTH算法 | 第35-39页 |
| 4.2.1 算法概述 | 第35页 |
| 4.2.2 并行化设计 | 第35-39页 |
| 4.3 本章小结 | 第39-41页 |
| 5 实验与分析 | 第41-54页 |
| 5.1 实验环境搭建 | 第41-45页 |
| 5.2 海量小文件存储实验 | 第45-50页 |
| 5.2.1 测试小文件的写入效率 | 第46-47页 |
| 5.2.2 测试小文件的读取效率 | 第47-48页 |
| 5.2.3 测试NameNode的内存消耗 | 第48-50页 |
| 5.3 算法并行化设计实验 | 第50-53页 |
| 5.3.1 K-均值算法 | 第50-52页 |
| 5.3.2 FP-Growth | 第52-53页 |
| 5.4 本章小结 | 第53-54页 |
| 6 总结与展望 | 第54-56页 |
| 6.1 本文总结 | 第54页 |
| 6.2 工作展望 | 第54-56页 |
| 致谢 | 第56-57页 |
| 参考文献 | 第57-59页 |
