欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020113847134
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于胶囊‑长短时记忆神经网络的视频表情识别方法,其特征在于,具体包括以下步骤:

将包括有人脸的视频转换为视频帧;

检测视频帧中的人脸图像,并对人脸图像进行预处理;

构建胶囊网络,利用胶囊网络编码器提取人脸图像的特征并利用胶囊网络解码器进行图片的重构;

构建长短时记忆神经网络,将胶囊网络编码器的输出作为长短时记忆网络的输入;

将长短时记忆神经网络输出中最大概率值对应的表情分类作为该序列的标签。

2.根据权利要求1所述的基于胶囊‑长短时记忆神经网络的视频表情识别方法,其特征在于,检测视频帧中的人脸图像,并对人脸图像进行预处理包括:对视频帧进行人脸检测,截取人脸ROI区域,并进行尺寸归一化以及灰度化;

采用MTCNN算法检测出视频帧中的人脸并对视频帧中的人脸进行定位,将检测到的人脸裁剪为固定尺寸的大小,并做灰度化处理;

每个视频中的视频帧分别选取固定帧作为一组视频序列,完成人脸图像的提取以及预处理。

3.根据权利要求1所述的基于胶囊‑长短时记忆神经网络的视频表情识别方法,其特征在于,本发明中的胶囊网络使用三层卷积层、卷积胶囊层和数字胶囊层作为胶囊网络的编码器,使用四层反卷积层作为数字胶囊的解码器,通过卷积层提取图片的特征并将经过最后一个卷积操作后的特征图转换为原始的胶囊,以供动态路由算法的使用,将胶囊经过动态路由算法进行迭代,并在最后一维进行叠加,数字胶囊层采用每个胶囊向量的长度代表每个表情类别的概率,并用于计算分类损失;编码器用来优化网络,对输出概率最高类别的图像进行重构,重构的图像与原始图像的欧氏距离进行对比,计算重建损失。

4.根据权利要求3所述的基于胶囊‑长短时记忆神经网络的视频表情识别方法,其特征在于,动态路由算法用于根据原始的胶囊获取高层的胶囊,包括:其中,sj为高层的胶囊, 为底层的胶囊,wij为权值参数,cij为耦合系数,Wij为权值参数。

5.根据权利要求4所述的基于胶囊‑长短时记忆神经网络的视频表情识别方法,其特征在于,高层的胶囊与底层的胶囊都有一个系数cij,cij系数之和为1,其系数表示为:cij=softmax(b′ij);

其中,b'ij为代表更新后的值,bij为更新前的值,其初始为零值;vj为高层胶囊的向量。

6.根据权利要求3所述的基于胶囊‑长短时记忆神经网络的视频表情识别方法,其特征在于,编码器的损失函数表示为:

+ 2 ‑ 2

Lc=Tcmax(0,m‑||vc||) +λ(1‑Tc)max(0,||vc||‑m) ;

+ ‑

其中,Tc表示为表情类别c是否存在,当存在时其值为1,不存在为0;m 、m分别为上边界和下边界;||Vc||表示为胶囊的模长,即表情类别c的概率。

7.根据权利要求3所述的基于胶囊‑长短时记忆神经网络的视频表情识别方法,其特征在于,解码器的损失函数表示为:

其中,n代表像素点数,ri为第i个像素点经过基于Capsule的人脸表情识别网络和解码器最后得到的重构值;ai为第i个像素点的真实值。

8.根据权利要求1所述的基于胶囊‑长短时记忆神经网络的视频表情识别方法,其特征在于,构建长短时记忆神经网络时,将输入向量和该向量的实际标签做交叉熵,将向量中所有元素的交叉熵的平均值作为长短时记忆神经网络的损失函数,该交叉熵表示为:其中,yi'为实际的表情类别标签;yi为样本i预测的表情概率。