图文特征联合的证据图像检索技术研究

【摘要】：随着Web2.0的快速发展,特别是社会网络的飞速普及,互联网已成为舆论传播的主战场,网络舆论传播使得全民监督力量得到较大程度张扬的同时,也为虚假信息、谣言、网络犯罪提供了土壤。其中,文本是最常使用的舆论传播载体,但是,“百闻不如一见”,由于数字图像能直观的展示事发现场的真实情景,其更容易对大众心理和情感产生巨大冲击,因此,图像正日益受到舆论欺诈者的青睐,图像式的“网络谣言”也被越来越频繁地用在网络舆论欺诈中。图像式网络舆论欺诈所用图像的典型获取方式主要有三种:图像造假、挪用和摆拍。传统的鉴别图像真伪的方法是数字图像真实性鉴别技术,主要通过检测数字图像内容的完整性和真实性来判断图像是否被篡改过。本文研究的图文特征联合的证据图像检索技术使用数字图像举证技术,通过利用Web图像的视觉特征和其伴随文本的特征,在互联网上搜寻与图像式网络舆论欺诈中所使用图像的场景内容相同或相似的图像,从而以它们作为物证来反制图像式网络舆论欺诈。本文的研究目标是图文特征联合的证据图像检索技术,研究内容及本文研究定位的确定主要基于以下三点考虑。首先,证据图像检索问题针对的主要是人物图像尤其是名人相关的图像,因为其在图像式网络舆论欺诈中使用的最为频繁,当前没有公开的针对此应用背景的数据集,故而面向证据图像检索的大规模人物相关的图文数据集是本文研究的数据支撑。第二,证据图像检索不同于传统意义上的图像检索,其问题的本质是计算机视觉领域“以图搜图”形式的近重复图像检索问题,因此近重复图像检索是本文研究的基础内容;第三,当前的近重复图像检索均仅是基于视觉特征,同时利用视觉特征和文本特征来进行证据图像检索的研究还未见公开报道,因此图文特征联合的证据图像检索模式是本文研究的探索创新点。基于以上几点分析,本文主要研究内容和研究成果如下:(1)构建了面向证据图像检索的大规模图文数据集DVPF以互联网为来源,构建了面向证据图像检索的大规模图文信息数据集DVPF(Dataset for Visual Proofs Finding),该数据集包含四个领域1295个名人的2229945幅图像及每幅图像的文档标题、文档正文和图像标题等文本信息,并且系统地分析了数据集的各项特征。综合研究性和应用性,人工标注了40个近重复图像组作为Ground-Truth,以便进行定量实验评测。(2)全面分析和评测了主流的基于视觉特征的近重复图像检索算法在对当前基于视觉特征的近重复图像检索关键技术进行了详细的综述的基础上,重点介绍了Hash签名特征和Bo VW模型,针对Bo VW中的两个主要不足:量化误差和几何信息丢失,系统分析了当前主流的改进算法,最后在数据集DVPF上详细地对Hash签名特征、Bo VW及其改进模型进行了定量实验,根据实验结果分析了每种方法的优缺点,确定Bo VW+HE+WGC和Bo VW+HE+EWGC两种方法作为本文图文特征联合近重复图像检索方法的基础。(3)提出了Text-bounded和Data-driven两种图文特征联合的证据图像检索方法框架根据当前近重复图像检索仅仅依赖视觉特征的现实和互联网图文信息的互相伴随性,结合本文证据图像检索的应用背景,分析了证据图像检索背景下的大规模图文数据集DVPF的数据组织形式,提出了两种可用于证据图像检索的简单有效的文本特征利用模式:先文后图和先图后文,针对这两种文本特征利用模式分别提出了Text-bounded和Data-driven两种证据图像检索框架。实验结果表明,两种框架均有效提高了证据图像检索的精度,检索的平均准确率提高了18.5%。(4)设计与实现了证据图像检索原型系统在全文理论与实验分析的基础上,立足信息系统开发的角度,从需求分析、工作原理、系统设计和系统实现几个方面出发,设计和实现了一个图文特征联合的证据图像检索原型系统,该系统综合了大规模图文数据采集、大规模图文数据处理和前端演示等功能,具有较好的实用性。综上所述,本文以证据图像检索为应用背景,以计算机视觉理论和机器学习理论等知识作为理论基础,针对当前近重复图像检索技术的研究现状,通过联合图像视觉特征和文本特征,围绕证据图像检索背景下的大规模数据集构建、基于视觉特征的近重复图像检索方法、图文特征联合的证据图像检索方法和设计开发证据图像检索原型系统等内容展开研究和实践,对于举证反制图像式网络舆论欺诈具有重要的理论意义和应用价值。
【关键词】：近重复图像 图像举证 检索 图文联合
【学位级别】：硕士
【学位授予年份】：2013
【分类号】：TP391.41