欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2018110141729
申请人: 百度在线网络技术(北京)有限公司
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种微表情训练方法,其特征在于,包括:

获取用户第一微表情的现实视频,并通过预设的神经网络模型对所述现实视频进行微表情特征提取,以获取所述第一微表情对应的微表情特征;

根据所述微表情特征以及预设标准微表情模型库确定与所述第一微表情匹配的第一标准微表情,并根据所述第一标准微表情生成第一虚拟视频;

将所述第一虚拟视频叠加显示在所述现实视频中;其中,在所述预设标准微表情模型库中,所述第一虚拟视频为表情管理培训人员示范的标准微表情视频,或者是通过计算机技术模拟出来的标准微表情视频;

其中,在所述根据所述微表情特征以及预设标准微表情模型库确定与所述第一微表情匹配的第一标准微表情之后,还包括:根据所述第一微表情以及所述第一标准微表情之间的差异确定所述第一微表情的微表情得分;

根据所述微表情得分生成第二虚拟视频;所述第二虚拟视频用于展示所述微表情得分;

将所述第二虚拟视频叠加显示在所述现实视频中。

2.根据权利要求1所述的微表情训练方法,其特征在于,所述根据所述第一微表情以及所述第一标准微表情之间的差异确定所述第一微表情的微表情得分,包括:提取所述现实视频中所述用户的第一微表情数据,所述第一微表情数据用于表征所述第一微表情;

根据所述第一微表情数据与第一标准微表情数据计算所述微表情得分。

3.根据权利要求2所述的微表情训练方法,其特征在于,所述提取所述现实视频中所述用户的第一微表情数据,包括:提取所述现实视频中所述用户的脸部中的特征点在预设空间坐标系下的空间坐标数据,所述第一微表情数据包括所述空间坐标数据。

4.根据权利要求3所述的微表情训练方法,其特征在于,所述根据所述第一微表情以及所述第一标准微表情之间的差异确定所述第一微表情的微表情得分,包括:提取所述现实视频中所述用户的脸部的轮廓特征;

根据所述轮廓特征确定所述第一标准微表情数据,所述第一标准微表情数据包括标准特征点在预设空间坐标系下的标准空间坐标数据;

根据所述空间坐标数据以及所述标准空间坐标数据确定所述第一微表情的微表情得分。

5.根据权利要求4所述的微表情训练方法,其特征在于,在所述根据所述空间坐标数据以及所述标准空间坐标数据确定所述第一微表情的微表情得分之后,还包括:判断所述微表情得分是否小于预设的微表情得分;

若判断结果为是,则在所述第二虚拟视频中对所述特征点高亮显示。

6.根据权利要求1-5中任意一项所述的微表情训练方法,其特征在于,在所述获取用户第一微表情的现实视频,并通过预设的神经网络模型对所述现实视频进行微表情特征提取之前,还包括:采集至少一个微表情对应的标准微表情视频;

采用深度学习算法并根据所述标准微表情视频构建所述预设的神经网络模型。

7.根据权利要求6所述的微表情训练方法,其特征在于,所述采集至少一个微表情对应的标准微表情视频,包括:将所述标准微表情视频分割成只包含单个微表情的短视频,并将分割得到的所述短视频作为训练样本构建微表情视频训练集。

8.根据权利要求7所述的微表情训练方法,其特征在于,在所述将分割得到的所述短视频作为训练样本构建微表情视频训练集之后,还包括:对所述微表情视频训练集进行数据预处理,其中,所述数据预处理包括:对所述微表情视频训练集中的所述短视频进行向下采样处理,提取向下采样处理后的所述短视频中以人为中心的边界框,裁剪掉所述边界框之外的多余背景,并将剪裁后的所述短视频中的各个帧由RGB图转化为灰度图。

9.根据权利要求8所述的微表情训练方法,其特征在于,所述预设的神经网络模型为张量递归神经网络模型。

10.根据权利要求9所述的微表情训练方法,其特征在于,所述张量递归神经网络模型包括输入层、第一卷积层、第一校正层、第一池化层、第二卷积层、第二校正层、第二池化层、第三卷积层、张量递归层和输出层;

其中,所述输入层、所述第一卷积层、所述第一校正层、所述第一池化层、所述第二卷积层、所述第二校正层、所述第二池化层以及所述第三卷积层依次连接,所述张量递归层全连接到所述第三卷积层,所述输出层全连接到所述张量递归层。

11.一种微表情训练装置,其特征在于,包括:

获取模块,用于获取用户第一微表情的现实视频,并通过预设的神经网络模型对所述现实视频进行微表情特征提取,以获取所述第一微表情对应的微表情特征;

确定模块,用于根据所述微表情特征以及预设标准微表情模型库确定与所述第一微表情匹配的第一标准微表情,并根据所述第一标准微表情生成第一虚拟视频;

显示模块,用于将所述第一虚拟视频叠加显示在所述现实视频中;其中,在所述预设标准微表情模型库中,所述第一虚拟视频为表情管理培训人员示范的标准微表情视频,或者是通过计算机技术模拟出来的标准微表情视频;

其中,所述装置还包括:

打分模块,用于根据所述第一微表情以及所述第一标准微表情之间的差异确定所述第一微表情的微表情得分;

所述显示模块,还用于:

根据所述微表情得分生成第二虚拟视频;所述第二虚拟视频用于展示所述微表情得分;

将所述第二虚拟视频叠加显示在所述现实视频中。

12.根据权利要求11所述的微表情训练装置,其特征在于,所述获取模块,还用于提取所述现实视频中所述用户的第一微表情数据,所述第一微表情数据用于表征所述第一微表情;

所述打分模块,还用于根据所述第一微表情数据与第一标准微表情数据计算所述微表情得分。

13.根据权利要求12所述的微表情训练装置,其特征在于,所述获取模块,还用于提取所述现实视频中所述用户的脸部中的特征点在预设空间坐标系下的空间坐标数据,所述第一微表情数据包括所述空间坐标数据。

14.根据权利要求13所述的微表情训练装置,其特征在于,所述打分模块,具体用于:提取所述现实视频中所述用户的脸部的轮廓特征;

根据所述轮廓特征确定所述第一标准微表情数据,所述第一标准微表情数据包括标准特征点在预设空间坐标系下的标准空间坐标数据;

根据所述空间坐标数据以及所述标准空间坐标数据确定所述第一微表情的微表情得分。

15.根据权利要求14所述的微表情训练装置,其特征在于,还包括:判断模块,用于判断所述微表情得分是否小于预设的微表情得分;

若判断结果为是,则所述显示模块,还用于在所述第二虚拟视频中对所述特征点高亮显示。

16.根据权利要求11-15中任意一项所述的微表情训练装置,其特征在于,还包括:采集模块,用于采集至少一个微表情对应的标准微表情视频;

学习模块,用于采用深度学习算法并根据所述标准微表情视频构建所述预设的神经网络模型。

17.根据权利要求16所述的微表情训练装置,其特征在于,所述采集模块,具体用于:将所述标准微表情视频分割成只包含单个微表情的短视频,并将分割得到的所述短视频作为训练样本构建微表情视频训练集。

18.根据权利要求17所述的微表情训练装置,其特征在于,还包括:预处理模块,用于对所述微表情视频训练集进行数据预处理,其中,所述数据预处理包括:对所述微表情视频训练集中的所述短视频进行向下采样处理,提取向下采样处理后的所述短视频中以人为中心的边界框,裁剪掉所述边界框之外的多余背景,并将剪裁后的所述短视频中的各个帧由RGB图转化为灰度图。

19.根据权利要求18所述的微表情训练装置,其特征在于,所述预设的神经网络模型为张量递归神经网络模型。

20.根据权利要求19所述的微表情训练装置,其特征在于,所述张量递归神经网络模型包括输入层、第一卷积层、第一校正层、第一池化层、第二卷积层、第二校正层、第二池化层、第三卷积层、张量递归层和输出层;

其中,所述输入层、所述第一卷积层、所述第一校正层、所述第一池化层、所述第二卷积层、所述第二校正层、所述第二池化层以及所述第三卷积层依次连接,所述张量递归层全连接到所述第三卷积层,所述输出层全连接到所述张量递归层。

21.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-10任一项所述的微表情训练方法。

22.一种电子设备,其特征在于,包括:

摄像头、处理器、存储器以及显示器;

所述摄像头以及所述显示器分别与所述处理器相连接;

所述摄像头,用于获取用户第一微表情的现实视频;

所述存储器,用于存储所述处理器的可执行指令;

其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1-10任一项所述的微表情训练方法;

所述显示器,用于显示所述现实视频以及虚拟视频。