欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020104442266
申请人: 北京治冶文化科技有限公司
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种虚拟形象视频生成方法,其特征在于,所述方法包括:确定用于生成虚拟人脸图片的第一人物和第二人物,确定所述第一人物和所述第二人物的权重;

获取预设数量的人脸图片对,每个人脸图片对包括一个所述第一人物的第一人脸图片和一个所述第二人物的第二人脸图片;

根据所述第一人物和所述第二人物的权重,利用图片生成模型对每个人脸图片对生成一个候选虚拟人脸图片;

提取目标视频中的每一帧目标图片;

从所述候选虚拟人脸图片中确定与所述目标图片表情相似的目标虚拟人脸图片;

根据所述目标虚拟人脸图片对所述目标图片进行人脸替换,得到人脸替换图片,其中,在根据所述目标虚拟人脸图片对所述目标图片进行人脸替换之前,对所述目标虚拟人脸图片进行亮度调节,包括:对所述目标虚拟人脸图片的左脸区域和右脸区域进行仿射变换,得到所述目标虚拟人脸图片的多个像素对,每个像素对包括所述左脸区域的一个像素点和所述右脸区域的一个像素点;使用亮度平滑公式对所述目标虚拟人脸图片的每个所述像素对的像素值进行更新,其中,所述亮度平滑公式满足以下关系式:’

(R,G,B) xa,ya=(1‑α)*(R,G,B)xa,ya+α*(R,G,B)xb,yb’

(R,G,B) xb,yb=(1‑β)*(R,G,B)xb,yb+β*(R,G,B)xa,ya’

其中,(R,G,B)xa,ya代表所述左脸区域的一个像素点更新前的像素值,(R,G,B) xa,ya代表所述左脸区域的一个像素点更新后的像素值,(R,G,B)xb,yb代表所述右脸区域的一个像素点’更新前的像素值,(R,G,B) xb,yb代表所述右脸区域的一个像素点更新后的像素值,α代表所述左脸区域的一个像素点与所述目标虚拟人脸图片中面部中心线的距离,β代表所述右脸区域的一个像素点与所述目标虚拟人脸图片中面部中心线的距离;

将所述人脸替换图片合成到所述目标视频中,得到虚拟形象视频。

2.如权利要求1所述的虚拟形象视频生成方法,其特征在于,所述确定用于生成虚拟人脸图片的第一人物和第二人物,确定所述第一人物和所述第二人物的权重包括:生成人物及权重设置界面;

接收用户从所述人物及权重设置界面上设置的两个人物和所述两个人物的权重;

根据所述两个人物的样本人脸图片和所述两个人物的权重,利用所述图片生成模型生成样本虚拟人脸图片;

若用户保存设置的两个人物和所述两个人物的权重,则将所述两个人物确定为所述第一人物和第二人物,将所述两个人物的权重确定为所述第一人物和所述第二人物的权重。

3.如权利要求1所述的虚拟形象视频生成方法,其特征在于,所述人脸图片对存储于区块链中,所述获取预设数量的人脸图片对包括:(a1)获取所述第一人物的第一视频和所述第二人物的第二视频;

(a2)从所述第一视频提取一个所述第一人物的第一图片,从所述第二视频提取一个所述第二人物的第二图片;

(a3)从所述第一图片分割出所述第一人脸图片,从所述第二图片分割出所述第二人脸图片;

(a4)将所述第一人脸图片和所述第二人脸图片组合为所述人脸图片对;

(a5)判断所述人脸图片对的个数是否达到所述预设数量;

(a6)若所述人脸图片对的个数未达到所述预设数量,则返回(a2)。

4.如权利要求1所述的虚拟形象视频生成方法,其特征在于,所述获取预设数量的人脸图片对包括:(b1)获取所述第一人物的第一视频和所述第二人物的第二视频,所述第一视频和所述第二视频中所述第一人物和所述第二人物分别按照同一时长说同一段话;

(b2)按帧从所述第一视频提取一个所述第一人物的第一图片,按帧从所述第二视频提取一个所述第二人物的第二图片;

(b3)从所述第一图片分割出所述第一人脸图片,从所述第二图片分割出所述第二人脸图片;

(b4)将所述第一人脸图片和所述第二人脸图片组合为所述人脸图片对;

(b5)判断所述人脸图片对的个数是否达到所述预设数量;

(b6)若所述人脸图片对的个数未达到所述预设数量,则返回(b2)。

5.如权利要求1所述的虚拟形象视频生成方法,其特征在于,所述从所述候选虚拟人脸图片中确定与所述目标图片表情相似的目标虚拟人脸图片包括:从所述目标图片中分割出目标人脸图片;

从所述目标人脸图片中检测第一人脸特征点;

从每个候选虚拟人脸图片中检测第二人脸特征点;

将每个候选虚拟人脸图片的第二人脸特征点与所述第一人脸特征进行特征匹配;

将匹配度最高的第二人脸特征点对应的候选虚拟人脸图片确定为所述目标虚拟人脸图片。

6.如权利要求5所述的虚拟形象视频生成方法,其特征在于,所述根据所述目标虚拟人脸图片对所述目标图片进行人脸替换包括:根据所述第一人脸特征点调整所述目标虚拟人脸图片的第二人脸特征点;

将所述目标图片中的人脸区域替换为调整后的目标虚拟人脸图片。

7.一种虚拟形象视频生成装置,其特征在于,所述装置包括:第一确定模块,用于确定用于生成虚拟人脸图片的第一人物和第二人物,确定所述第一人物和所述第二人物的权重;

获取模块,用于获取预设数量的人脸图片对,每个人脸图片对包括一个所述第一人物的第一人脸图片和一个所述第二人物的第二人脸图片;

生成模块,用于根据所述第一人物和所述第二人物的权重,利用图片生成模型对每个人脸图片对生成一个候选虚拟人脸图片;

提取模块,用于提取目标视频中的每一帧目标图片;

第二确定模块,用于从所述候选虚拟人脸图片中确定与所述目标图片表情相似的目标虚拟人脸图片;

替换模块,用于根据所述目标虚拟人脸图片对所述目标图片进行人脸替换,得到人脸替换图片;

合成模块,用于将所述人脸替换图片合成到所述目标视频中,得到虚拟形象视频;

其中,在所述替换模块根据所述目标虚拟人脸图片对所述目标图片进行人脸替换之前,所述装置还用于对所述目标虚拟人脸图片进行亮度调节,包括:对所述目标虚拟人脸图片的左脸区域和右脸区域进行仿射变换,得到所述目标虚拟人脸图片的多个像素对,每个像素对包括所述左脸区域的一个像素点和所述右脸区域的一个像素点;使用亮度平滑公式对所述目标虚拟人脸图片的每个所述像素对的像素值进行更新,其中,所述亮度平滑公式满足以下关系式:’

(R,G,B) xa,ya=(1‑α)*(R,G,B)xa,ya+α*(R,G,B)xb,yb’

(R,G,B) xb,yb=(1‑β)*(R,G,B)xb,yb+β*(R,G,B)xa,ya’

其中,(R,G,B)xa,ya代表所述左脸区域的一个像素点更新前的像素值,(R,G,B) xa,ya代表所述左脸区域的一个像素点更新后的像素值,(R,G,B)xb,yb代表所述右脸区域的一个像素点’更新前的像素值,(R,G,B) xb,yb代表所述右脸区域的一个像素点更新后的像素值,α代表所述左脸区域的一个像素点与所述目标虚拟人脸图片中面部中心线的距离,β代表所述右脸区域的一个像素点与所述目标虚拟人脸图片中面部中心线的距离。

8.一种计算机设备,其特征在于,所述计算机设备包括处理器,所述处理器用于执行存储器中存储的计算机程序以实现如权利要求1至6中任一项所述虚拟形象视频生成方法。

9.一种存储介质,所述存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述虚拟形象视频生成方法。