基于hadoop streaming的Last软件并行化的研究与实现
| 摘要 | 第1-5页 |
| Abstract | 第5-8页 |
| 1 绪论 | 第8-12页 |
| ·研究的背景与意义 | 第8页 |
| ·国内外研究现状 | 第8-10页 |
| ·论文的主要研究内容 | 第10-11页 |
| ·论文的结构安排 | 第11-12页 |
| 2 相关技术的研究 | 第12-25页 |
| ·Last比对软件的研究 | 第12-16页 |
| ·Last比对原理 | 第12-15页 |
| ·Last比对软件的可并行性分析 | 第15-16页 |
| ·Hadoop分布式平台 | 第16-22页 |
| ·MapReduce编程模型 | 第16-19页 |
| ·HDFS分布式文件系统 | 第19-21页 |
| ·Hadoop Streaming | 第21-22页 |
| ·集群文件系统Lustre | 第22-24页 |
| ·本章小结 | 第24-25页 |
| 3 基于HDFS的并行化模型的设计 | 第25-34页 |
| ·InputFormat的研究与分析 | 第25-27页 |
| ·自定义LlnputFormat设计 | 第27-31页 |
| ·逻辑分片切分算法 | 第27-29页 |
| ·逻辑分片读取算法 | 第29-31页 |
| ·Streaming的脚本设计 | 第31-32页 |
| ·任务分配 | 第32页 |
| ·本章小结 | 第32-34页 |
| 4 基于Lustre的并行化模型的设计 | 第34-39页 |
| ·输入文件索引构建算法 | 第34-35页 |
| ·Streaming的脚本设计 | 第35-37页 |
| ·Mapper脚本的设计 | 第36-37页 |
| ·Reducer脚本的设计 | 第37页 |
| ·任务分配 | 第37-38页 |
| ·本章小结 | 第38-39页 |
| 5 实验结果与结论 | 第39-47页 |
| ·计算平台和测试数据集 | 第39页 |
| ·数据切分效率实验 | 第39-40页 |
| ·数据的读取速度实验 | 第40-42页 |
| ·加速比与并行效率实验 | 第42-46页 |
| ·基于HDFS的并行化效率分析 | 第42-44页 |
| ·基于Lustre的并行化效率分析 | 第44-45页 |
| ·两种模型并行效率的对比分析 | 第45-46页 |
| ·结果一致性验证 | 第46页 |
| ·本章小结 | 第46-47页 |
| 结论 | 第47-48页 |
| 参考文献 | 第48-50页 |
| 附录 | 第50-51页 |
| 攻读学位期间发表的学术论文 | 第51-52页 |
| 致谢 | 第52-53页 |
