1.一种用于人类行为识别的联合标签交互学习的方法，其特征在于：所述方法包括以下步骤：

1)构造能量函数

令G＝(V，E)表示图，其中节点集V表示所有人的个人行为，边集E表示他们的交互信息，eij∈E表示人i和人j之间有交互，而边est的缺失则表示人s与人t之间没有交互，I表示一张图像， 是人i的个人行为标签，a＝[ai]i＝1，...，n是包含n个人的个人行为标签的向量；

给定一个新的输入I，目标是通过解决以下的问题(1)来预测个人行为标签a和交互信息E；

其中

其中 是一个指示函数，如果ai＝s，它的值为1，反之则为0；当eij＝z时指示函数的值为1，反之则为0；同样地，当ai＝s且aj＝t时，指示函数 为1，反之为0；

一元能量项θi；s的定义如下：

其中wu是一元能量函数的权重项， 是指示向量，在s这个位置时取1，其他情况都为0，pi；s是把标签s分配给i时的判别得分，为了计算这个判别得分，把通过深度卷积神经网络学到的特征、人身体区域的HOG和HOF特征串联起来，训练一个支持向量机分类器；

二元能量项的定义如下：

其中 wc 衡 量两 个交 互的 人的 个 人行 为标 签s 和 t之 前的 兼容 性 ，是一个指示向量，在(s，t，li，j，pi，pj)对应的位置取1，其它位置均为0， 表示人i和人j之间的相对距离，定义为：设ri，rj是人i和j的包围框的宽度，设di，j是这些成对包围框的中心的欧几里得距离，计算hi，j为：在方程式(5)中，表示从训练样本中筛选的所有的交互项(i，j)的平均值；

像一般的行为识别做的，把人的头部朝向分为5类，分别为{profile-left，profile-right，frontal-left，frontal-right，backwards}，为了确定每个人的头部朝向，使用手工特征和ConvNet学到的特征，训练了一个线性大间隔分类器；

考虑到人之间交互的存在，θij；z规定了负的信任值，定义如下：wτ是得分项pi，j；z的权重项，表示两个人(i，j)之间有无交互的可能性，有交互时z＝1，无交互时z＝0，为了计算得分项pi，j；z，使用从人i和j的包围框区域提取的特征，再次训练一个SVM分类器，这边使用的特征表示和用来计算pi；s用的特征表示是一致的，1τ(z)∈{0，1}2是指示向量，在z的位置取1，其他情况取0；

wr评估交互信息由z编码，相对距离li，j和头部朝向pi，pj之间的兼容性，此项的目的是利用语境线索来提高交互和非交互识别的判别能力；当根据得分pi，j；z得到的预测不正确时，方程式(7)中的第二项可以用来纠正预测结果；

在方程式(1)中引入的正则项定义如下：

其中θ0＝ws，ws∈R，当松弛变量e∈{0，1}为e∈[0，1]此正则项满足L1正则化的定义，因此，使用此项来加强稀疏的人交互的学习；

2)训练模型的参数

k

训练样本集 边集E 表示在第k张训练样本的图片中，人之间的真实的交互信息，ek是Ek的向量形式，使用下面的最大边距式公式来训练所有的模型参数w＝[wu，wc，wτ，wr，ws]：标签代价，即错误预测的惩罚为：

其中δ(·)是指示函数，当测试情况为真时取1，反之为0；m表示人的个数；

3)解决推理问题

通过固定参数θ来解决推理问题(1)，初始化e为一个全连接的结构，在每次迭代中，首先固定图结构e，用 表示，然后解决剩余的问题：通过OpenGM包中的Tree-reweighted消息传递接口来解决这个问题；

用 来表示a的当前解，把 代入公式(1)，推理问题缩减为：重整方程式(12)，得到下面的形式：

每个eij和所有的余下的变量e没有相互作用，因此eij的最佳值仅依赖于它的系数值，最小化关于变量e的表达式，如果 的值为负，eij的最佳值为1；如果的值不为负，eij的最佳值为0。