1.一种场景级上下文感知的情感识别深度网络方法,其特征在于,具体包括以下步骤:步骤1、采集图像,确定训练样本集Xin和测试样本集Xtn;
步骤2、读取训练样本集Xin中每个样本的身体标注值与原始情感标注值,依据身体标注值提取每个样本的身体部位,得到身体部位图像集XB;
步骤3、对训练样本集Xin进行集合内归一化处理,得到上下文情感图像集Xim;对身体部位图像集XB进行集合内归一化处理,得到归一化的身体部位图像集Xbody;
步骤4、将归一化的身体部位图像集Xbody送入上层的卷积神经网络提取身体部位情感特征TF,并将上下文情感图像集Xim送入下层的卷积神经网络提取场景级上下文情感特征TC;
步骤5、将身体部位情感特征TF与场景级上下文情感特征TC分别送入上层的自适应层和下层的自适应层进行特征自适应学习,上层的自适应层输出身体部位融合权重λF,下层的自适应层输出上下文融合权重λC;
步骤6、将身体部位情感特征TF、场景级上下文情感特征TC与身体部位融合权重λF、上下文融合权重λC进行加权融合得到结合上下文信息的情感融合特征TA,然后将TA经过全连接层线性映射,得到arousal和valence的初始预测值,采用KL散度损失函数,衡量arousal和valence初始预测值与对应的原始情感标注值之间的损失,通过网络反向传播,多次迭代,更新网络权重,逐渐减少损失,使算法逐步收敛,完成训练,得到网络模型;
步骤7、按照步骤2提取测试样本集Xtn中每一个测试样本的身体部位,获得测试身体部位图像集XtB,接着按照步骤3分别对测试样本集Xtn和测试身体部位图像集XtB进行归一化处理后,送入步骤6所得的网络模型,最终得到测试样本集Xtn的arousal和valence预测标签值。
2.根据权利要求1所述的一种场景级上下文感知的情感识别深度网络方法,其特征在于,所述步骤2中对训练样本集Xin进行身体部位提取的具体步骤为:步骤2.1、读取训练样本集Xin中每个样本的身体标注(Bx1,By1,Bx2,By2),其中(Bx1,By1,),(Bx2,By2)为身体部位所在的斜对角的两点坐标,通过公式(1)计算位置与尺寸参数集其中:
公式(1)中,Bw表示身体部位图像的宽度,Bh表示身体部位图像的宽度;
步骤2.2、根据步骤1.1中得到的参数集 对训练样本集Xin中的每个样本进行裁剪,最终得到身体部位图像集XB。
3.根据权利要求1所述的一种场景级上下文感知的情感识别深度网络方法,其特征在于,所述步骤3中对训练样本集Xin进行集合内归一化处理的公式如下:公式(2)中,Xin为训练样本集,Xim为上下文情感图像集,σ为训练样本集的标准差图像,xmean为训练样本集的均值图像;
公式(2)中xmean和σ定义如下:公式(3)和(4)中,xi表示训练样本集Xin中的任一单个样本,n表示总的训练样本个数,n≥1。
4.根据权利要求1所述的一种场景级上下文感知的情感识别深度网络方法,其特征在于,所述步骤3中对身体部位图像集XB进行集合内归一化处理的公式如下:公式(5)中,XB为身体部位图像集,Xbody为归一化后的身体部位图像集,σ'为身体部位图像集的标准差图像,x'mean为身体部位图像集的均值图像;
公式(5)中x′mean和σ'定义如下:公式(6)和(7)中,x′i'表示身体部位图像集XB中的任一单个样本,n表示总的训练样本个数,n≥1。
5.根据权利要求1所述的一种场景级上下文感知的情感识别深度网络方法,其特征在于,所述步骤4中上层的卷积神经网络和下层的卷积神经网络结构参数相同,均采用VGG16架构。
6.根据权利要求1所述的一种场景级上下文感知的情感识别深度网络方法,其特征在于,所述步骤4中身体部位情感特征TF和上下文情感特征TC的计算过程如下:TF=F(Xbody,WF) (8)TC=F(Xim,WC) (9)公式(8)中,WF表示上层的卷积神经网络全部卷积层与池化层的所有参数,公式(9)中,WC表示下层的卷积神经网络全部卷积层与池化层的所有参数,F表示特征提取网络中卷积及池化的计算操作。
7.根据权利要求1所述的一种场景级上下文感知的情感识别深度网络方法,其特征在于,所述步骤5中身体部位融合权重λF和上下文融合权重λC的计算过程如下:λF=F(TF,WD) (10)λC=F(TC,WE) (11)公式(10)中,WD为上层的自适应层网络参数,公式(11)中,WE为下层的自适应层网络参数,且λF+λC=1。
8.根据权利要求1所述的一种场景级上下文感知的情感识别深度网络方法,其特征在于,所述步骤5中上层的自适应层和下层的自适应层的网络结构完全相同,具体的网络架构参数如下:
上层的自适应层和下层的自适应层各包含一个最大池化层和两个卷积层以及一个Softmax层。
9.根据权利要求1所述的一种场景级上下文感知的情感识别深度网络方法,其特征在于,所述步骤6中身体部位情感特征TF、场景级上下文特征TC与身体部位融合权重λF、上下文融合权重λC进行加权融合的计算公式如下:公式(12)中,TA为情感融合特征,Π表示连接运算符,表示将融合权重后的身体部位情感特征和场景级上下文情感特征进行拼接, 表示不同特性特征与融合权重之间的卷积操作。