1.一种训练样本的生成方法,所述方法包括:
获取可见光人脸图像和近红外人脸图像,其中,所述可见光人脸图像和近红外人脸图像是针对同一人脸拍摄且拍摄角度的差值小于指定角度差值;
确定所述可见光人脸图像的人脸关键点,提取所述人脸关键点的方向梯度直方图HOG特征;
在所述近红外人脸图像中确定与所述人脸关键点的坐标对应的像素点,并在以该像素点为中心的区域内,查找和所述人脸关键点之间的HOG特征相似度最大的像素点,作为目标关键点;
基于所述人脸关键点和所述目标关键点,对所述可见光人脸图像和所述近红外人脸图像进行对齐,并基于对齐后的可见光人脸图像和对齐后的近红外人脸图像,生成跨模态数据生成模型的训练样本中的输入和目标输出。
2.根据权利要求1所述的方法,其中,在所述在以该像素点为中心的区域内,查找和所述人脸关键点之间的HOG特征相似度最大的像素点之前,所述方法还包括:获取所述可见光人脸图像中人脸的检测框的面积;
以所述对应的像素点为中心,确定与所述检测框的面积比例为预设比例的矩形框所在的区域,其中,所述预设比例小于1。
3.根据权利要求1或2所述的方法,其中,所述在以该像素点为中心的区域内,查找和所述人脸关键点之间的HOG特征相似度最大的像素点,包括:将所述区域切分为多个子区域,其中,所述子区域的数量为预设数值;
在各个子区域中,确定出与所述人脸关键点之间的HOG特征的相似度最大的子区域,作为目标子区域;
将所述目标子区域的中心像素点,作为查找到的和所述人脸关键点之间的HOG特征相似度最大的像素点。
4.根据权利要求1或2所述的方法,其中,所述基于所述人脸关键点和所述目标关键点,对所述可见光人脸图像和所述近红外人脸图像进行对齐,包括:对所述可见光人脸图像和所述近红外人脸图像进行三角剖分,得到以所述人脸关键点为顶点的可见光网格图,和以所述目标关键点为顶点的近红外网格图;
对所述可见光网格图和所述近红外网格图进行人脸对齐,得到对齐后的可见光人脸图像和对齐后的近红外人脸图像。
5.根据权利要求1或2所述的方法,其中,对所述跨模态数据生成模型的训练步骤包括:将对齐后的可见光人脸图像作为输入,并将对齐后的近红外人脸图像作为目标输出,训练所述跨模态数据生成模型,得到训练后的跨模态数据生成模型,其中,所述训练后的跨模态数据生成模型用于将可见光人脸图像转换为近红外人脸图像,所述跨模态数据生成模型为生成对抗网络。
6.根据权利要求1或2所述的方法,其中,所述方法还包括:
对所述可见光人脸图像和所述近红外人脸图像分别进行灰度化处理,得到灰度化可见光图像和灰度化近红外图像;以及所述提取所述人脸关键点的方向梯度直方图HOG特征,包括:
对于所述灰度化可见光图像,提取所述灰度化可见光图像中所述人脸关键点的HOG特征。
7.根据权利要求6所述的方法,其中,所述在所述近红外人脸图像中确定与所述人脸关键点的坐标对应的像素点,并在以该像素点为中心的区域内,查找和所述人脸关键点之间的HOG特征相似度最大的像素点,包括:在所述灰度化近红外图像中查找与所述人脸关键点坐标相同的像素点,并在所述灰度化近红外图像中以该像素点为中心的区域内,查找和所述人脸关键点之间的HOG特征相似度最大的像素点。
8.一种训练样本的生成装置,所述装置包括:
获取单元,被配置成获取可见光人脸图像和近红外人脸图像,其中,所述可见光人脸图像和近红外人脸图像是针对同一人脸拍摄且拍摄角度的差值小于指定角度差值;
确定单元,被配置成确定所述可见光人脸图像的人脸关键点,提取所述人脸关键点的方向梯度直方图HOG特征;
查找单元,被配置成在所述近红外人脸图像中确定与所述人脸关键点的坐标对应的像素点,并在以该像素点为中心的区域内,查找和所述人脸关键点之间的HOG特征相似度最大的像素点,作为目标关键点;
样本生成单元,被配置成基于所述人脸关键点和所述目标关键点,对所述可见光人脸图像和所述近红外人脸图像进行对齐,并基于对齐后的可见光人脸图像和对齐后的近红外人脸图像,生成跨模态数据生成模型的训练样本中的输入和目标输出。
9.根据权利要求8所述的装置,其中,所述装置还包括:
面积获取单元,被配置成在所述在以该像素点为中心的区域内,查找和所述人脸关键点之间的HOG特征相似度最大的像素点之前,获取所述可见光人脸图像中人脸的检测框的面积;
区域确定单元,被配置成以所述对应的像素点为中心,确定与所述检测框的面积比例为预设比例的矩形框所在的区域,其中,所述预设比例小于1。
10.根据权利要求8或9所述的装置,其中,所述查找单元,进一步被配置成按照如下方式执行所述在以该像素点为中心的区域内,查找和所述人脸关键点之间的HOG特征相似度最大的像素点:将所述区域切分为多个子区域,其中,所述子区域的数量为预设数值;
在各个子区域中,确定出与所述人脸关键点之间的HOG特征的相似度最大的子区域,作为目标子区域;
将所述目标子区域的中心像素点,作为查找到的和所述人脸关键点之间的HOG特征相似度最大的像素点。
11.根据权利要求8或9所述的装置,其中,所述样本生成单元,进一步被配置成按照如下方式执行所述基于所述人脸关键点和所述目标关键点,对所述可见光人脸图像和所述近红外人脸图像进行对齐:对所述可见光人脸图像和所述近红外人脸图像进行三角剖分,得到以所述人脸关键点为顶点的可见光网格图,和以所述目标关键点为顶点的近红外网格图;
对所述可见光网格图和所述近红外网格图进行人脸对齐,得到对齐后的可见光人脸图像和对齐后的近红外人脸图像。
12.根据权利要求8或9所述的装置,其中,对所述跨模态数据生成模型的训练步骤包括:将对齐后的可见光人脸图像作为输入,并将对齐后的近红外人脸图像作为目标输出,训练所述跨模态数据生成模型,得到训练后的跨模态数据生成模型,其中,所述训练后的跨模态数据生成模型用于将可见光人脸图像转换为近红外人脸图像,所述跨模态数据生成模型为生成对抗网络。
13.根据权利要求8或9所述的装置,其中,所述装置还包括:灰度化单元,被配置成对所述可见光人脸图像和所述近红外人脸图像分别进行灰度化处理,得到灰度化可见光图像和灰度化近红外图像;以及所述确定单元,进一步被配置成按照如下方式执行所述提取所述人脸关键点的方向梯度直方图HOG特征:对于所述灰度化可见光图像,提取所述灰度化可见光图像中所述人脸关键点的HOG特征。
14.根据权利要求13所述的装置,其中,所述查找单元,进一步被配置成所述在所述近红外人脸图像中确定与所述人脸关键点的坐标对应的像素点,并在以该像素点为中心的区域内,查找和所述人脸关键点之间的HOG特征相似度最大的像素点:在所述灰度化近红外图像中查找与所述人脸关键点坐标相同的像素点,并在所述灰度化近红外图像中以该像素点为中心的区域内,查找和所述人脸关键点之间的HOG特征相似度最大的像素点。
15.一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1‑7中任一所述的方法。
16.一种计算机可读存储介质,其上存储有计算机程序,其中,该程序被处理器执行时实现如权利要求1‑7中任一所述的方法。