融合空间信息LDA的视觉对象识别研究

　　摘要：近年来国内外有很多学者将广泛用于自然语言处理的LDA模型引入视觉对象识别，对象分割，场景分类等应用中。LDA模型是产生式模型，所以必然存在产生式模型共有的弊端即它假设每个视觉词汇所对应主题的产生是条件独立的。根据图像本身的特征，图像的空间信息对图像物体识别起了很大的作用，一个视觉词汇主题的生成过程是受其相邻视觉词汇主题所影响的，为了提高图像视觉词汇的主题分配正确率，提出融合空间信息LDA模型，即融合条件随机场的LDA模型，从而在图像的局部主题标签上融合二维图像空间信息，即避免空间信息的丢失同时可以提高其视觉词汇的主题分配正确率。论文主要研究内容：首先对LDA模型进行改进，并在该模型中引入条件随机场，同时推导出使用期望最大化算法确定的模型参数。该论文提出使用条件随机场获得图像的二维空间信息，将产生式模型和判别式模型融合，在增强由图像本身性质所决定的相邻区域主体标签的空间关联性的同时也提高了视觉对象识别的精确度，完成图像的自动标注。

　　关键词：视觉对象识别，LDA模型，空间信息，条件随机场，期望最大化算法

　　中文图书分类号：TP391文献标识号：A文章编号：2095-2163（2013）04-

　　LDAModelCombinedSpatialInformationforVisualObjectRecognitionSearch

　　LIYang，LIUYang，GUOMaozu

　　（SchoolofComputerScienceandTechnology，HarbinInstituteofTechnology，Harbin150001，China）

　　Abstract：Inrecentlyyears，manyscholarsintroducetheLDAmodelwhichiswidelyusedinnaturelanguageprocessingintovisualobjectrecognition，objectsegmentation，sceneclassificationandsoon.LDAmodelisanovelgenerativemodel，sotheremustbecommondefectbetweengenerativemodelsthatitassumeslatenttopicassignmentsofdifferentvisualwordsareconditionallyindependent.Accordingtothecharacteristicsofimages，spatialinformationoftheimagesplaysanimportantroleinimageobjectrecognition，thatistosay，thegenerationprocessofthelatenttopicsgiventhevisualwordsisinfluencedbyitsadjacentvisualwords’latenttopics.Inordertoimprovetheaccuracyofthedistributionofthetopicsgiventhevisualwords，thepaperproposestheLDAmodelcombinedspatialinformation，namelyLDAmodelcombinedCRF，whichisfusedthe2Dimagespatialinformationinthelocallatenttopiclabeltoavoidthelossofspatialinformationandcanimprovetheaccuracyofthedistributionofthelatenttopics.Themainresearchcontentsofthispaper：firstly，improvetheLDAmodel，andcombinetheconditionalrandomfieldintoLDAmodel，andderivethemodelparametersusingthecorrespondingEMalgorithm.Thispaperusestheconditionalrandomfieldsforgetting2Dspatialinformationoftheimages；combinesthegenerativemodelandthediscriminativemodel.Thepaperenhancesthespatialcorrelationofthelatenttopiclabelsoftheadjacentvisualwordsdeterminedbytheimages’naturecharacteristic，atthesametime，improvestherecognitionrateofthevisualobjects.

　　Keywords：VisualObjectRecognition；LDAModel；SpatialInformation；CRF；EMAlgorithm

　　0引言

　　基于计算机的视觉对象识别与语义理解是人工智能的一项主要研究内容，近年来，针对这一问题，各种方法不断涌现，包括产生/判别式方法，以及多示例学习、半监督学习和迁移学习等新的机器学习思想[1-4]。特别是将广泛应用于文本领域的“词汇包”（bagofwords）[5-6]表示方法引入到计算机视觉领域后，相应地，研究人员即将适合自然语言处理的统计模型——“主题模型”（topicmodel）[7]也引入到图像检索和对象识别问题中来。主题模型中，两个常用的模型为概率潜语义分析模型（PLSA）与潜在狄利克雷分布模型（LDA）[8]，这两个模型在图像对象识别上都得到广泛的应用。中科院计算所史忠植研究员等提出适用于连续视觉特征建模的图像语义标注系统[9]；吴飞博士和庄越挺教授[10]则融合了图像与文本的相关性实现对网络图像聚类，并通过引入单词与单词之间关联度等来改进LDA模型，Zisserman[11]使用尺度不变性PLSA学习Google搜索得到图片的对象类别。LDA模型是一个产生式模型，在LDA模型中将图像表示成独立于空间信息的视觉词汇的集合，在每个视觉词汇上都对应着一个主题，这个主题的产生独立于其他视觉词汇的主题。所有文档共享一系列主题，并且每篇文档对应不同的主题比例，这个主题比例产生于狄利克雷分布。LDA模型中每个主题产生于狄利克雷分布，因而不能反映主题间的依赖关系，这与现实明显不符，所以需改进主题产生的方式，即假设主题产生于高斯分布，使用协方差矩阵的结构来表达主题之间的共现关系，即一个主题与另一个主题的相关性概率。

　　此外，在LDA模型中，文本或者视觉词汇的主题分配都是条件独立的，并不依赖于词汇出现的顺序。近几年提出很多方法，这些方法针对词汇的主题分配的条件独立性缺陷进行了改进，多是采用在主题模型上加入马尔可夫随机场（MRF），例如Fei-FeiLi[12]将LDA模型与主题随机场模型融合并用于图像分割，Triggs[13]使用全局PLSA模型与局部MRF模型共同作用实现图像分类。LiangliangCao[14]在没有引入MRF的情况下，使用空间关联性潜在主题模型识别图像中对象的类别和场景，其中并未引入MRF，而是将图像划分为很多区域，每个区域表示成两个部分：一部分表示该区域的所有视觉词汇，另一部分表示该区域的整体外表特征，所以依然没有融合各个区域间的二维空间相互关系。马尔可夫随机场有其自身的缺点和弊端。在马尔可夫链中都是有向图，这个有向图就反映一定的依赖关系，而这种依赖关系却不能很好地对应现实的依赖关系。另外，在现实中标签之间的转移概率不仅依赖于当前所观察到的状态，同时也依赖于以前和未来的观察状态，这在MRF中均未得到很好的诠释，而条件随机场（CRF）则很好地融合了相邻词汇间主题分配的马尔科夫依赖关系，其当前词汇所对应的主题不仅依赖于当前的词汇，而且是建模在整个所观察到的视觉词汇序列上。针对图像二维空间性，将线性链CRF转换成二维CRF来实现，从而融合二维图像空间的相邻视觉词汇的相互作用关系。