欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019108082962
申请人: 西安理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于卷积神经网络特征重构的眼镜自动去除方法,其特征在于,具体按照以下步骤实施:步骤1:采用K近邻算法寻找LFW人脸图像数据集中具有相似属性戴眼镜人脸图像和无眼镜人脸图像,戴眼镜人脸图像的集合作为源图像集,无眼镜人脸图像的集合作为目标图像集;

步骤2:将源图像集和目标图像集映射到卷积神经网络的深度特征空间,通过卷积神经网络进行训练后,得到各自的平均特征值,利用源图像集和目标图像集的差值计算得出眼镜属性向量;

步骤3:将输入的待去除的戴眼镜人脸图像经过Visual Geometry Group网络结构VGG当中进行特征映射后得到的新特征表示与步骤2得到的眼镜属性向量进行差值运算,完成眼镜属性的去除;

步骤4:将去除后的人脸特征反向映射回像素空间,重构出去除眼镜后的像素图像;

所述步骤2具体按照以下步骤实施:

步骤2.1、定义转化函数θ,表示人脸图像从像素空间映射到深度特征空间,设x0为一张原始图像,则θ0=θ(x0)表示原始图像在深度特征空间中的新特征表示;

步骤2.2、定义源图像集为 表示的是源图像集中的第n张图

像,上角标s代表源图像,目标图像集为 表示的是目标图像集中的

第n张图像,上角标t代表目标图像,将源图像集和目标图像集输入到设定好的Visual Geometry Group网络结构VGG当中,设眼镜属性向量为G,按公式(2)和公式(3)计算眼镜属性向量:式(2)中的 为目标图像集中人脸图像的平均特征值,k表示具有相似属性的人脸图s t像集中图像数量,θ(x)表示源图像集中人脸图像在深度特征空间中的新特征表示,θ(x)表示目标图像集中人脸图像在深度特征空间中的新特征表示, 表示源图像集与θ(x)具有相似属性的k个最近邻, 表示目标图像集与θ(x)具有相似属性的k个最近邻,式(3)中,为源图像集中人脸图像的平均特征值,通过源图像集的平均特征值与目标图像集的平均特征值的差值计算获得眼镜属性向量G;

所述步骤4具体按照以下步骤实施:

完成眼镜属性去除后的人脸图像仍在特征空间中,所以须将其反映射回像素空间,重构出可视化的像素图像,定义反映射的目标函数的公式如式(5)和(6)所示:

2 2

Rv(w)=∑((wi+1,j‑wi,j) +(wi,j+1‑wi,j))               (6)式(5)中,w表示反映射后得到的目标像素图像,即重构出的去除眼镜后的像素图像,θ(w)为去除眼镜属性向量后得到的无眼镜人脸图像在深度特征空间的新特征表示,α为调节系数,G是眼镜属性向量,b为待去除的戴眼镜人脸图像,θ(b)为输入的一张戴眼镜人脸图片映射到特征空间中的新特征表示,第一项是损失项,计算当前输入人脸图像的深度特征数据与目标图像的深度特征数据两者之间的损失值,两者的损失值越小,说明重构出的目标图像更接近去除眼镜后的人脸图像;第二项是正则化数据项,作为图像先验,添加正则项可以保证图像的平滑性;Rv用来促使像素平滑,v表示的是总变分项,λv是对正则项进行平衡的一项系数,式(6)为正则项计算公式,wi,j是目标图像(i,j)位置的像素值。

2.根据权利要求1所述的基于卷积神经网络特征重构的眼镜自动去除方法,其特征在于,所述步骤1具体按照以下步骤实施:步骤1.1、从LFW人脸图像数据集中选取已经分好的戴眼镜人脸图像集和无眼镜人脸图像集作为训练集;

步骤1.2、采用K近邻算法分别从训练集中选取N张属性相近的戴眼镜人脸图像和N张无眼镜人脸图像,K近邻算法得到图像的具体操作如下:其中,当想要得到戴眼镜人脸图像时,xi代表待测的戴眼镜人脸样本图像,yi代表戴眼镜人脸图像集中的一张人脸图像;当想要得到无眼镜人脸图像时,xi代表待测的无眼镜人脸样本图像,yi代表无眼镜人脸图像集中的一张人脸图像,i表示当前输入图像的序号,n表示图像总数量,cosβ表示两张人脸图像的相似度,β是一个变量,若cosβ的值为1,说明两张人脸图像完全重复;若cosβ的值越大,说明两张人脸图像中的属性越相似;若cosβ的值越小,说明两张人脸图像中的属性越不相似。

3.根据权利要求2所述的基于卷积神经网络特征重构的眼镜自动去除方法,其特征在于,所述步骤1.2中N=100。

4.根据权利要求2所述的基于卷积神经网络特征重构的眼镜自动去除方法,其特征在于,所述步骤2中卷积神经网络设置具体如下:卷积神经网络第一层为数据输入层,该层用于输入待处理的人脸图像;第二层为卷积计算层,通过卷积操作得到深度为3的特征映射图;第三层为池化层,夹在连续的卷积层中间,通过池化操作,去除不必要的冗余信息,减小卷积层产生的特征映射图的尺寸,得到深度为3的新的特征映射图,重复操作,得到深度为5的深度特征映射图,卷积神经网络中每次卷积后都采用ReLU非线性激活单元,使得网络结构具有分类非线性数据的能力。

5.根据权利要求1所述的基于卷积神经网络特征重构的眼镜自动去除方法,其特征在于,所述步骤2.2中k取值为100。

6.根据权利要求1所述的基于卷积神经网络特征重构的眼镜自动去除方法,其特征在于,所述步骤3具体按照以下步骤实施:步骤3.1、将待去除的戴眼镜人脸图像输入到预训练好的Visual Geometry Group网络结构VGG当中进行特征映射,提取人脸特征,得到人脸图像在深度特征空间中的新特征表示;

步骤3.2、将人脸图像在深度空间中的新特征表示与步骤2得到的眼镜属性向量进行差值运算,完成眼镜属性的去除操作,眼镜属性去除公式如式(4)所示:θ(w)=θ(b)‑αG                       (4)

式(4)中,b为待去除的戴眼镜人脸图像,θ(b)为输入的一张待去除的戴眼镜人脸图像映射到特征空间中的新特征表示,α为调节系数,α取值的大小影响眼镜的去除程度,G为眼镜属性向量,w为去除眼镜属性向量后得到的无眼镜人脸图像,θ(w)为去除眼镜属性向量后得到的无眼镜人脸图像在深度特征空间的新特征表示。

7.根据权利要求6所述的基于卷积神经网络特征重构的眼镜自动去除方法,其特征在于,所述λv为0.001。

8.根据权利要求7所述的基于卷积神经网络特征重构的眼镜自动去除方法,其特征在于,所述调节系数α取值为3。