1.基于生成对抗网络的人脸匿名隐私保护方法,其特征在于,包括如下步骤:步骤1:人脸图像数据预处理;
步骤2:构建生成对抗网络结构;
步骤3:建立人脸区域匿名的目标函数;
步骤4:建立场景内容区域保留的目标函数;
步骤5:人脸匿名与场景保留的目标函数的结合;
步骤6:采用公开数据集进行训练及测试,输出最终结果;
步骤3所述的建立人脸区域匿名的目标函数,具体如下:
3‑1.GAN的目标函数,采用CGAN进行图像中保持非隐私属性的可用性,具体操作是:输入原始图像x和对应的属性标签y到生成器网络中合成图像xf;同理,分别将原始图像x和对应的属性标签y与合成图像xf和对应的属性标签y输入到鉴别器中进行判别,数学表达式如下:其中,x表示输入的原始图像,y表示对应原始图像的属性标签,G表示生成器,D表示鉴别器;
3‑2.人脸图像距离差异目标函数;利用人脸位置坐标点将合成图像进行裁剪获取人脸区域图,使用曼哈顿距离计算公式计算合成人脸区域与原始人脸区域之间的像素距离;设定阈值α,计算α与上述距离之间的绝对值差,目的是将原始人脸区域与合成人脸区域之间的像素保持α距离,数学表达式如下:其中,xr表示原始图像的人脸区域数据,xf表示合成图像的人脸区域数据,α表示一个设定的阈值;
3‑3.方差目标函数;利用方差的特性将数据离散化,在上述步骤3‑2计算得到距离的基础上添加方差运算,使其合成图像数据离散化,增加人脸区域之间的差别,数学表达式如下:其中,xr表示原始图像人脸区域数据,xf表示合成图像人脸区域数据;
3‑4.人脸特征距离差异目标函数;保持合成图像中人脸区域遵循原始图像人脸的整体轮廓和朝向方向因素;通过生成器网络提取原始人脸图像和合成人脸图像的特征,使用欧氏距离计算公式计算合成人脸特征与原始人脸特征之间的特征距离;设定阈值β,计算阈值β与特征距离之间的绝对值差,使得它们之间的特征保持一个阈值距离;该方法保证了人脸区域在像素与特征上都发生变化,同时确保人脸区域轮廓相近,使得匿名图像从视觉上观察更真实,数学表达式如下:其中,xr表示原始图像的人脸区域数据,xf表示合成图像的人脸区域数据,β表示一个设定的阈值;
步骤4建立场景内容区域保留的目标函数,具体步骤如下:
4‑1.利用skip‑connection的特性对生成器网络进行操作;将掩码图像输入生成器网络中的Conv块,通过skip‑connection连接到解码器中对应的Conv块即可完成合成图像中的场景内容基本保留;
4‑2.场景内容区域保留的目标函数,将合成图像进行掩码处理,使用曼哈顿距离计算公式计算原始掩码图像与合成掩码图像之间的像素距离,使其之间的像素距离趋向于最小,数学表达式如下:其中, 表示原始的掩码人脸区域图像数据, 表示合成图像的掩码人脸区域图像数据;
步骤5人脸匿名与场景保留的目标函数的结合,具体如下:
5‑1.在训练过程中,将步骤3‑1中的GAN的目标函数、步骤3‑2中的人脸图像距离差异目标函数、步骤3‑3中的方差目标函数、步骤3‑4中的人脸特征距离差异目标函数以及步骤4‑2中的场景内容区域保留的目标函数相结合共同反向传播即可,数学表达式如下:
2.根据权利要求1所述的基于生成对抗网络的人脸匿名隐私保护方法,其特征在于,步骤1所述的人脸图像数据预处理,具体步骤如下:
1‑1.数据准备和预处理,通过人工对人脸图像进行属性标记,生成属性标签y;
1‑2.利用人脸检测器检测每张人脸图像中人脸区域位置的左上角坐标点坐标和长宽;
1‑3.制作人脸区域掩码图像,具体操作是使用黑色像素值将人脸图像中人脸的位置填充即可。
3.根据权利要求2所述的基于生成对抗网络的人脸匿名隐私保护方法,其特征在于,步骤2所述的构建生成对抗网络结构,具体步骤如下:
2‑1.构建生成器,生成器是一个U‑net网络,包括5个编码器层和5个解码器层;编码器每层由最大池化层(Max‑Pooling)和卷积(Convolutional,Conv)块组成,其中Conv块由2个Conv层、2个批量归一化层(Batch Normalization,BN)和2个线性整流函数(ReLU)组成;解码器每层由Upsampling‑Conv块和Conv块组成,其中Upsampling‑Conv块由Upsampling、Conv、BN和ReLU组成;编码器层与解码器层通过跳跃式连接(skip‑connection)相连;跳跃式连接分为两部分:第一部分是输入原始图像到编码器层,将其与解码器层使用skip‑connection对应连接;第二部分是输入掩码人脸图像到Conv块,利用skip‑connection与解码器层对应连接即可;
2‑2.构建鉴别器;鉴别器采用的是pix2pix中的Patch‑D网络,包括5个Conv层、4个Leaky‑ReLU函数、3个BN层和Sigmoid激活函数;鉴别器用于判断输入图像是否为真实人脸图像。
4.根据权利要求3所述的基于生成对抗网络的人脸匿名隐私保护方法,其特征在于,步骤6训练模型并测试数据,具体如下:
6‑1.准备数据集并按照步骤1所述进行预处理;
6‑2.将训练数据输入到生成对抗网络进行训练并且使用测试数据进行网络模型测试;
6‑3.为了验证所提出方法的高效性,将其与现有方法进行比较,计算匿名率、身份交换率以及图像质量,以及分析结果的可靠性和实用性。