欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 202011213188X
申请人: 上海企创信息科技有限公司
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-03-13
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于语音识别和图像识别的情绪检测方法,其特征在于,包括:获取待检测的一段用户的自拍视频,以及所述自拍视频对应的实际场景;

对所述自拍视频进行处理,得到图像信号和语音信号;

对所述图像信号按照预设周期进行截图处理,获取至少两个图像;

对所述至少两个图像进行表情识别,得到各个图像中的人物表情;

根据各个图像中的人物表情,以及各个图像的先后时间顺序,获取表情变化趋势;

对所述语音信号进行语音识别,获取对应的文字信号;

将所述文字信号以及所述实际场景输入到预设检测模型中,获取所述语音信号在所述实际场景中的初步情绪结果;

融合所述表情变化趋势以及所述初步情绪结果,获取所述用户的最终情绪结果;

所述预设检测模型的获取过程包括:

获取至少两个场景中,每一个场景中的至少两个校正文本;

获取各场景中的各校正文本的实际情绪结果;

将所述各场景中的各校正文本输入到已有检测模型中,得到各场景中的各校正文本的检测情绪结果;

获取实际情绪结果和检测情绪结果均为正面情绪的各场景下的各校正文本,得到第一场景下的各第一校正文本,以及实际情绪结果和检测情绪结果均为负面情绪的各场景下的各校正文本,得到第二场景下的各第二校正文本;

根据所述第一场景下的各第一校正文本,以及所述第二场景下的各第二校正文本,调整所述已有检测模型,得到所述预设检测模型。

2.根据权利要求1所述的基于语音识别和图像识别的情绪检测方法,其特征在于,所述融合所述表情变化趋势以及所述初步情绪结果,获取最终情绪结果,包括:若所述表情变化趋势为朝向正面表情发展,且所述初步情绪结果为正面情绪,则所述最终情绪结果为正面情绪;

若所述表情变化趋势为朝向负面表情发展,且所述初步情绪结果为负面情绪,则所述最终情绪结果为负面情绪。

3.根据权利要求1所述的基于语音识别和图像识别的情绪检测方法,其特征在于,所述对所述至少两个图像进行表情识别,得到各个图像中的人物表情,包括:对所述至少两个图像进行用户人脸识别,得到所述用户的用户人脸图像;

对各个图像中的用户人脸图像进行表情识别,得到各个图像中的人物表情。

4.根据权利要求3所述的基于语音识别和图像识别的情绪检测方法,其特征在于,所述对各个图像中的用户人脸图像进行表情识别,得到各个图像中的人物表情,包括:获取第一样本集和第二样本集,所述第一样本集包括至少一个正面表情样本图像,所述第二样本集包括至少一个负面表情样本图像;

对所述第一样本集中的各正面表情样本图像进行标注,得到第一表情类别,第一表情类别为正面表情,对所述第二样本集中的各负面表情样本图像进行标注,得到第二表情类别,第二表情类别为负面表情,所述第一表情类别和第二表情类别构成标注数据;

将所述第一样本集和第二样本集输入至表情识别编码器中进行特征提取,表情识别编码器输出的特征向量输入给Flatten层,经Flatten层处理得到一维特征向量,一维特征向量作为全连接层的输入,全连接层将一维特征向量映射到特征标记空间,然后输出给softmax函数,通过softmax函数输出两个表情类别的概率,根据输出的两个表情类别的概率确定对应的初始表情类别;

将所述初始表情类别与所述标注数据通过交叉熵损失函数进行运算,优化表情识别网络中的参数;

将所述各个图像中的用户人脸图像输入到所述表情识别网络中,得到所述各个图像中的用户人脸图像的人物表情。

5.一种基于语音识别和图像识别的情绪检测装置,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如下所述的基于语音识别和图像识别的情绪检测方法的步骤:获取待检测的一段用户的自拍视频,以及所述自拍视频对应的实际场景;

对所述自拍视频进行处理,得到图像信号和语音信号;

对所述图像信号按照预设周期进行截图处理,获取至少两个图像;

对所述至少两个图像进行表情识别,得到各个图像中的人物表情;

根据各个图像中的人物表情,以及各个图像的先后时间顺序,获取表情变化趋势;

对所述语音信号进行语音识别,获取对应的文字信号;

将所述文字信号以及所述实际场景输入到预设检测模型中,获取所述语音信号在所述实际场景中的初步情绪结果;

融合所述表情变化趋势以及所述初步情绪结果,获取所述用户的最终情绪结果;

所述预设检测模型的获取过程包括:

获取至少两个场景中,每一个场景中的至少两个校正文本;

获取各场景中的各校正文本的实际情绪结果;

将所述各场景中的各校正文本输入到已有检测模型中,得到各场景中的各校正文本的检测情绪结果;

获取实际情绪结果和检测情绪结果均为正面情绪的各场景下的各校正文本,得到第一场景下的各第一校正文本,以及实际情绪结果和检测情绪结果均为负面情绪的各场景下的各校正文本,得到第二场景下的各第二校正文本;

根据所述第一场景下的各第一校正文本,以及所述第二场景下的各第二校正文本,调整所述已有检测模型,得到所述预设检测模型。

6.根据权利要求5所述的基于语音识别和图像识别的情绪检测装置,其特征在于,所述融合所述表情变化趋势以及所述初步情绪结果,获取最终情绪结果,包括:若所述表情变化趋势为朝向正面表情发展,且所述初步情绪结果为正面情绪,则所述最终情绪结果为正面情绪;

若所述表情变化趋势为朝向负面表情发展,且所述初步情绪结果为负面情绪,则所述最终情绪结果为负面情绪。

7.根据权利要求5所述的基于语音识别和图像识别的情绪检测装置,其特征在于,所述对所述至少两个图像进行表情识别,得到各个图像中的人物表情,包括:对所述至少两个图像进行用户人脸识别,得到所述用户的用户人脸图像;

对各个图像中的用户人脸图像进行表情识别,得到各个图像中的人物表情。

8.根据权利要求7所述的基于语音识别和图像识别的情绪检测装置,其特征在于,所述对各个图像中的用户人脸图像进行表情识别,得到各个图像中的人物表情,包括:获取第一样本集和第二样本集,所述第一样本集包括至少一个正面表情样本图像,所述第二样本集包括至少一个负面表情样本图像;

对所述第一样本集中的各正面表情样本图像进行标注,得到第一表情类别,第一表情类别为正面表情,对所述第二样本集中的各负面表情样本图像进行标注,得到第二表情类别,第二表情类别为负面表情,所述第一表情类别和第二表情类别构成标注数据;

将所述第一样本集和第二样本集输入至表情识别编码器中进行特征提取,表情识别编码器输出的特征向量输入给Flatten层,经Flatten层处理得到一维特征向量,一维特征向量作为全连接层的输入,全连接层将一维特征向量映射到特征标记空间,然后输出给softmax函数,通过softmax函数输出两个表情类别的概率,根据输出的两个表情类别的概率确定对应的初始表情类别;

将所述初始表情类别与所述标注数据通过交叉熵损失函数进行运算,优化表情识别网络中的参数;

将所述各个图像中的用户人脸图像输入到所述表情识别网络中,得到所述各个图像中的用户人脸图像的人物表情。