摘要 | 第5-6页 |
Abstract | 第6页 |
第1章 引言 | 第9-14页 |
1.1 研究背景及意义 | 第9页 |
1.2 国内外研究现状 | 第9-11页 |
1.3 研究内容及主要工作 | 第11-12页 |
1.4 本文的组织结构 | 第12-14页 |
第2章 Hadoop云计算平台简介 | 第14-24页 |
2.1 分布式文件系统HDFS | 第14-18页 |
2.1.1 HDFS的基本框架 | 第14-17页 |
2.1.2 HDFS的工作过程 | 第17-18页 |
2.2 并行编程框架MapReduce | 第18-24页 |
2.2.1 MapReduce的基本框架 | 第18-19页 |
2.2.2 MapReduce的主要组件与编程接口 | 第19-22页 |
2.2.3 MapReduce的作业执行流程 | 第22-24页 |
第3章 Spark云计算平台简介 | 第24-28页 |
3.1 Spark的设计理念与基本架构 | 第24-26页 |
3.1.1 Spark的基本设计思想 | 第24-25页 |
3.1.2 Spark的基本框架 | 第25-26页 |
3.2 Spark的核心抽象弹性分布式数据集RDD | 第26-28页 |
3.2.1 RDD的基本概念以及特性 | 第26-27页 |
3.2.2 RDD的计算模型 | 第27-28页 |
第4章 统一资源管理框架YARN简介 | 第28-33页 |
4.1 Hadoop1.0 与Hadoop2.0 | 第28-31页 |
4.1.1 Hadoop1.0 的缺陷 | 第28-29页 |
4.1.2 Hadoop2.0 的改善 | 第29-31页 |
4.2 Yarn框架的体系结构 | 第31-32页 |
4.3 基于Yarn平台的作业运行机制 | 第32-33页 |
第5章 基于YARN和哈希技术的K-近邻分类算法的研究 | 第33-47页 |
5.1 基于YARN平台的Hadoop和Spark云计算平台的搭建 | 第33-37页 |
5.1.1 Hadoop云计算平台搭建的步骤 | 第33-36页 |
5.1.2 Spark云计算平台搭建的步骤 | 第36-37页 |
5.2 基于YARN和哈希技术的K-近邻分类算法的实现 | 第37-43页 |
5.2.1 SimHash算法的介绍 | 第37-38页 |
5.2.2 基于MapReduce和哈希技术的K-近邻分类算法的设计思想 | 第38-40页 |
5.2.3 基于Spark和哈希技术的K-近邻分类算法的设计思想 | 第40-43页 |
5.3 实验结果与分析 | 第43-47页 |
第6章 工作总结与展望 | 第47-48页 |
参考文献 | 第48-51页 |
致谢 | 第51-52页 |
攻读学位期间取得的科研成果 | 第52页 |