面向大数据处理的图搜索与深度学习算法并行优化技术研究

【摘要】：伴随着信息技术的迅速发展,数据为王的大数据时代已然到来,战略需求也发生了重大改变。数据是与自然资源、人力资源一样重要的战略资源,隐含了巨大的经济价值。如何有效的组织和处理大数据,将对社会经济的发展起到巨大的作用。针对各种复杂系统得到的数据,通过数据之间关联关系整合成一个网络,因此大数据面临的科学问题本质上就是网络科学问题。如何挖掘数据之间的相互关系,并将这种关联关系进行快速的分析处理是目前的一个研究热点。图搜索和深度学习算法在大数据处理中发挥了至关重要的作用。图搜索算法对数据网络进行查询、聚类、匹配等操作,从而将数据网络根据数据关联关系划分成连通子图,深度学习算法则对数据连通子图中纷繁复杂的数据进行特征抽取和分类,从而提取用户需要的关键信息。反之,深度学习算法可以对大数据中的数据进行数据挖掘、特征识别和分类,从而将一些看似孤立的数据划分为具有各种特征的数据网络,如蛋白质数据构成的蛋白质网络、Web数据构成的社会网络等等,之后图搜索对这些网络进行进一步数据挖掘,如求聚集参数、连通子图、最大独立子集等等。面对大数据处理,速度成为一个至关重要的问题,因此图搜索和深度学习的速度优化成为当前研究的一个热点,同时也是一个难点。本文针对大数据的处理,重点对图搜索和深度学习算法进行了加速研究。首先,本文研究了当前大数据的特点,并调研了相关应用。其次,本文在CPU平台上利用OpenMP并行模型对图搜索算法进行并行优化,并利用程序的局部性原理、降低同步开销以及负载均衡的方法对算法进行了并行优化。再次,针对图搜索算法访存不规则等特性,定制了FPGA算法硬件加速器。提出了使用流水线和多PE(Processing Element,处理单元)消息传递的实现方法,并针对硬件流水线并行实现的特点,提出了使用细粒度流水线优化的方法。最后,本文首先对DBN(Deep Belief Nets,深度信念网络)这一深度学习算法的工作流程进行了介绍,并总结了算法的运算特征。然后使用基于指令集的汇编语言将分类函数翻译成汇编程序,并对程序进行了性能评估。最后介绍了深度学习算法硬件加速的开发工具的情况。
【关键词】：大数据 图搜索 宽度优先搜索 深度学习 深度信念网络 FPGA
【学位级别】：硕士
【学位授予年份】：2013
【分类号】：TP311.13