欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019100367282
申请人: 深圳市云之梦科技有限公司
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-07-04
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种人脸图像融合方法,所述方法包括以下步骤:

获取待处理的用户图像和预存的人脸立体素材图像;

确定所述用户图像的融合区域;

检测所述用户图像的人脸关键点和人脸立体素材图像中的人脸关键点;

基于人脸立体素材图像中的人脸关键点对所述人脸立体素材图像进行网格划分,得到包含多个网格的第一网格面,取所述第一网格面的各顶点信息生成第一网格顶点数组;所述第一网格顶点数组信息包括各顶点的第一位置信息、各个网格的第一色值信息和各个网格的第一纹理信息;

对所述用户图像的人脸关键点信息进行曲线拟合,得到用户图像的拟合关键点信息,以及对所述人脸立体素材图像的人脸关键点信息进行曲线拟合得到人脸立体素材图像的拟合关键点信息;

根据所述用户图像的拟合关键点信息和所述用户图像的人脸关键点信息,得到第一组关键点;

根据所述人脸立体素材图像的拟合关键点信息和所述人脸立体素材图像的人脸关键点信息,得到第二组关键点;

获取所述第一组关键点的位置信息和第二组关键点的位置信息,根据所述第一组关键点的位置信息、所述第二组关键点的位置信息以及所述第一网格顶点数组的第一位置信息,进行坐标变换得到第二网格顶点数组的第二位置信息;所述第二网格顶点数组信息包括第二位置信息、第一色值信息和第一纹理信息;

根据所述第二网格顶点数组信息得到第一素材图像;

基于深度学习模型,根据所述用户图像的融合区域的图像掩码,得到第一肤色区域,以及根据所述第一素材图像的融合区域的图像掩码,得到第二肤色区域;

获取所述第一肤色区域的像素值,根据所述第一肤色区域的像素值得到所述第一肤色区域的亮度均值;

根据所述第一肤色区域的亮度均值从亮度与色彩映射表的对应关系中获取对应的色彩映射表,所述色彩映射表中记录有色值信息;

采用所述色彩映射表中的色值信息对所述第二肤色区域的色值进行更新,得到更新后的第二肤色区域的色值;

将更新后的第二肤色区域的色值信息存储到第二网格顶点数组,得到第三网格顶点数组;

根据所述第三网格顶点数组信息,得到第二素材图像;获取所述用户图像的色值和所述第二素材图像的色值;

对所述用户图像的融合区域的色值和所述第二素材图像的色值进行色值混合计算,得到目标图像的融合区域的色值;

根据所述目标图像的融合区域的色值、所述用户图像非融合区域的色值以及所述第三网格顶点数组信息,得到目标图像。

2.根据权利要求1所述的方法,其特征在于,所述确定所述用户图像的融合区域,包括:根据所述用户图像的图像数据,进行掩码操作,得到所述用户图像的掩码信息;

根据所述用户图像的掩码信息对所述用户图像进行边缘检测得到所述用户图像的融合区域。

3.根据权利要求2所述的方法,其特征在于,所述根据所述用户图像的掩码信息对所述用户图像进行边缘检测得到所述用户图像的融合区域,包括:根据所述用户图像的掩码信息,对所述用户图像的所有边缘像素点进行遍历操作和领域操作,得到所述用户图像的融合区域和边缘像素点;所述掩码信息包括所述用户图像的色块区域与色块区域边缘的像素点的位置坐标和像素值。

4.根据权利要求1所述的方法,其特征在于,所述曲线拟合采用拉格朗日插值算法或最小方差法。

5.根据权利要求1所述的方法,其特征在于,所述深度学习模型为基于语义分割模型训练的神经网络模型。

6.根据权利要求1所述的方法,其特征在于,所述对所述用户图像的融合区域的色值和所述第二素材图像的色值进行色值混合计算,得到目标图像的融合区域的色值,包括:采用alpha blending算法,对用户图像的融合区域的色值和第二素材图像的色值进行权值叠加计算,得到所述目标图像的融合区域的色值。

7.根据权利要求1所述的方法,其特征在于,所述人脸立体素材图像的纹理信息保持不变。

8.一种人脸图像融合装置,其特征在于,所述装置包括:

图像获取模块,用于获取用户图像和人脸立体素材图像;

区域确定模块,用于确定所述用户图像的融合区域;

形变模块,用于检测所述用户图像的人脸关键点和人脸立体素材图像中的人脸关键点;基于人脸立体素材图像中的人脸关键点对所述人脸立体素材图像进行网格划分,得到包含多个网格的第一网格面,取所述第一网格面的各顶点信息生成第一网格顶点数组;所述第一网格顶点数组信息包括各顶点的第一位置信息、各个网格的第一色值信息和各个网格的第一纹理信息;对所述用户图像的人脸关键点信息进行曲线拟合,得到用户图像的拟合关键点信息,以及对所述人脸立体素材图像的人脸关键点信息进行曲线拟合得到人脸立体素材图像的拟合关键点信息;根据所述用户图像的拟合关键点信息和所述用户图像的人脸关键点信息,得到第一组关键点;根据所述人脸立体素材图像的拟合关键点信息和所述人脸立体素材图像的人脸关键点信息,得到第二组关键点;获取所述第一组关键点的位置信息和第二组关键点的位置信息,根据所述第一组关键点的位置信息、所述第二组关键点的位置信息以及所述第一网格顶点数组的第一位置信息,进行坐标变换得到第二网格顶点数组的第二位置信息;所述第二网格顶点数组信息包括第二位置信息、第一色值信息和第一纹理信息;根据所述第二网格顶点数组信息得到第一素材图像;

调整模块,用于基于深度学习模型,根据所述用户图像的融合区域的图像掩码,得到第一肤色区域,以及根据所述第一素材图像的融合区域的图像掩码,得到第二肤色区域;获取所述第一肤色区域的像素值,根据所述第一肤色区域的像素值得到所述第一肤色区域的亮度均值;根据所述第一肤色区域的亮度均值从亮度与色彩映射表的对应关系中获取对应的色彩映射表,所述色彩映射表中记录有色值信息;采用所述色彩映射表中的色值信息对所述第二肤色区域的色值进行更新,得到更新后的第二肤色区域的色值;将更新后的第二肤色区域的色值信息存储到第二网格顶点数组,得到第三网格顶点数组;根据所述第三网格顶点数组信息,得到第二素材图像;

融合模块,用于获取所述用户图像的色值和所述第二素材图像的色值;对所述用户图像的融合区域的色值和所述第二素材图像的色值进行色值混合计算,得到目标图像的融合区域的色值;根据所述目标图像的融合区域的色值、所述用户图像非融合区域的色值以及所述第三网格顶点数组信息,得到目标图像。

9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的人脸图像融合方法的步骤。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的人脸图像融合方法的步骤。