融合空间信息LDA的视觉对象识别研究(3)

　　使用Jensen不等式对似然函数进行变换，就得到似然函数的下界：

　　其中，为变分分布的熵。所以上述期望都是潜在变量变分分布的期望。这里设为模型参数，为变分参数。继续假设隐含变量的变分分布满足：

　　连续变量的变分分布为K个相互独立的高斯分布，与分别是高斯分布的均值和方差。则为主题为分布的K维参数。

　　在似然函数的下界中第一项通过计算得到：

　　似然函数的下界的第二项：

　　但是由于归一因子是log形式，式（10）不能有效地计算出来，所以根据不等式：

　　得到第二项中对归一因子的log形式的期望：

　　其中，，。将上述不等式带入似然函数中，获得似然函数的一个下界，并且是参数的函数。

　　给定一个模型的参数和一幅图像，变分推理算法相对于变分参数来优化式（6）。使用梯度下降法迭代优化一个参数时，其它参数都保持不变。对于参数，则有其迭代优化公式：

　　对于参数，通过对公式（3.1）求导得到其迭代优化公式：

　　其中第一项来自于词汇生成模型的多项式分布，第二项既考虑了独立特征函数，也考虑了相关性特征函数，在第二项中，特征函数就融合了图像二维空间相邻区域间的相互依赖关系。

　　对于参数，使用梯度下降法，则对于参数的梯度分别为：

　　首先设

　　信念传递算法可以有效计算dedao和，在优化时并没有解析式解，所以可选用梯度下降算法优化这两个变分参数。

　　给出图像集合，通过最大化图像的似然函数来实现参数估计，并使用最大期望算法通过对公式（3.1）中所有图像求和来最大化似然函数的下界。

　　在E步中，本文对变分参数最大化似然函数下界，完成对每篇文档的变分推理。在M步中，本文对模型参数最大化似然函数下界。E步和M步重复进行，直到收敛为止。

　　下面给出M步中，模型参数估计的公式。

　　对于模型参数，是高斯分布的均值向量，使用E步中得到的变分参数获得该均值向量，计算公式为：

　　其中，表示训练模型中文档的总数。

　　对于模型参数，是高斯分布的协方差矩阵，能够反映主题间共现关系概率。对每一文档，首先计算一次中间变量cov_s，其计算公式为：

　　最后得到矩阵的每个元素：

　　其中：

　　对于模型参数，是一个K*N的矩阵，表示给定主题下词汇的分布概率，即，其计算公式为：

　　其中，式中的指对每一行求和，使得该行的元素和相加为1。