融合空间信息LDA的视觉对象识别研究(2)

　　本文主要贡献可归纳为：

　　将二维CRF模型融合到主题产生于高斯分布的LDA模型[17]中，使得每个词汇所对应的主题分布不再是条件独立的，而是与其二维空间中的相邻词汇有关，解决了相邻词汇间的依赖问题。

　　1融合空间信息的LDA模型

　　1.1LDA模型

　　潜在狄利克雷分配模型运用层次贝叶斯定义了文档的似然函数。具体来说就是为每个文档定义一个主题比例向量，这个比例向量来自于狄利克雷分布，每篇文档的词汇采样于一个特定的主题词汇分布。LDA模型可以是有监督学习，也可以是无监督学习。本文采用了无监督学习。但是，LDA模型中的狄利克雷分布不能获取主题之间的相关性，这与现实极为不符，因为现实中一个主题的出现常会反映出另外主题出现的可能性，所以需对LDA模型加以改进。将狄利克雷分布改为高斯分布，令表示k维的均值和方差矩阵，令表示K*N的矩阵，那么对于一需有N个词汇的文档，改进的LDA模型的产生过程如下：

　　（1）获取主题概率分布

　　（2）For：

　　（a）选择隐含主题

　　（b）生成一个词汇.

　　这个过程与LDA的生成过程相同，改进之处在于文档中主题分布来自于高斯分布，而非狄利克雷分布，通过协方差矩阵表示主题之间的共现关系，与现实更加相符。图1给出了LDA图模型表示。

　　1.2二维CRF

　　CRF[15]（Conditionalrandomfields）是一种判别式模型。这是一个无向图，满足马尔可夫性质，即对随机场中的任何一个随机变量，给定场中的其他所有变量下该变量的分布，等同于给定场中该变量的邻居节点下该变量的分布。CRF是在马尔科夫随机场中加入了观测值。马尔可夫随机场中每一个节点对应一个随机变量，节点之间的边表示节点对应的随机变量之间有概率依赖关系。在CRF中，要确定的是在给定观察集合下其MRF的分布，而不仅仅是在当前的观测值下的MRF分布。

　　由于图像的二维特性，需对线性链CRF进行改进，使其成为二维CRF。每个词汇的主题分布不仅依赖其前后位置词汇的主题，而且依赖其上下位置词汇的主题，所以本文采用八邻域法。根据LDA模型中一篇文档的产生过程，融合空间信息的LDA模型的图模型产生过程如图2所示。

　　这里，假设对每幅图像提取特征，获取每个patch块所对应的视觉词汇的索引值。每幅图像有n个视觉词汇。该模型中，一幅图像的生成过程与LDA模型的生成过程较为相似，不同之处只在于不再满足多项式分布，而是定义为广义线性模型：

　　式中，是K维的特征函数向量，这个特征函数定义了与图像中视觉词汇相关的特征，是一个K维的向量。根据上式，该模型的产生过程为：

　　其中，满足高斯分布，是在参数为下的主题概率分布，可以将式（1）改写为：

　　其中，是保证式（2）为概率模式的归一因子，其就散公式如下：

　　1.3特征函数

　　特征函数的选择对条件随机场极为重要，这里特征函数分为两种。第一种为独立特征函数，是仅与当前词汇相关的特征函数；第二种为相关性特征函数，是指当前词汇的主题分布要受到其相邻的词汇主题分布的影响，在此则体现了融合空间特性的目的。监狱图像的二维特性，需要考虑二维相邻区域词汇间主题的影响，本文采用八邻域法，如图3所示。

　　在此，对两种特征函数的形式与分析如下：

　　（1）独立特征函数：

　　由式可见，是一个K维的矩阵，K为所有图像共享主题的个数，是一个指示函数，表示如果这个词的主题为K，那么赋值为1，否则为0。

　　（2）相关性特征函数：

　　假设当前词汇的八邻域词汇所对应的主题分别是，那么在相关性特征函数的K维矩阵的相应位置上加1，最后得到的特征函数向量为：

　　2后验推理与参数估计

　　隐含变量的分布和未知参数的推理都较为困难的问题，即如何推理是需要考虑的核心问题。在二维CRF中，计算难度不仅是因为一幅图像中每个词汇所对应的主题不是独立产生的，而是与其邻域很多词汇的主题分布有关，并且还因为在归一因子中存在对潜在主题分布的指数级求和，所以使用变分推理方法替代精确推理方法就可以有效计算似然函数的下界。在图模型中，变分推理方法[16]有着通用的准则，但是这里需要考虑该模型中特殊的结构。参数估计采用最大似然估计方法。