欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019111579218
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种利用门控融合判别特征进行漫画人脸识别的方法,其特征在于包括如下步骤:步骤(1)数据预处理

对于全局模型部分:将图片根据5个关键点进行仿射变化并裁减到统一尺寸大小;所述的关键点为:左眼中、右眼中、鼻尖、左嘴角、右嘴角;

对于局部模型部分:将图片根据数据集自带的17个关键点所在的位置按照设定比例裁剪得到局部图片并进行缩放;

步骤(2)特征提取及融合

对于全局及局部模型分别利用一个在Sphereface上预训练好的20层ResNet模型以及轻量级的Sphereface模型进行特征提取;将提取出来的17个局部特征与全局特征进行特征融合;在全局及局部模型中我们还嵌入了CBAM注意力机制模型;

步骤(3)识别准确度

将融合后的漫画及人脸照片的特征之间计算余弦距离,按照排序可计算得到rank‑1和rank‑10的分数;

步骤(2)所述的特征提取及处理:

2‑1.在sphereface模型的Conv1.x之后嵌入CBAM注意力机制模型;CBAM包括通道和空C×H×W C×1×1间注意力模块;给定特征映射F∈R ,通道注意模块推断1维信道注意向量Mc∈R ,空

1×H×W

间注意模型推断2维空间注意力图Ms∈R ;整个操作过程为:* **

其中 表示按元素方向乘法,F表示通道注意模块的输出,F 表示空间注意模型的输出,也就是CBAM的输出;

2‑2针对全局模型,利用在Sphereface上训练好的20层模型对输入的整张图片进行特征提取得到向量F2_g,对于局部模型部分,我们利用轻量级的Sphereface网络对17个局部图n片块进行特征提取,得到向量F2_l;其中F2_l,F2_g∈R、2表示为Sphereface模型中卷积层之后的第二个全连接层,n为训练数据集中人脸的身份数量,并用该向量进行身份识别并优化网络;

2‑3在优化网络过程中,使用的损失函数为A_softmax loss,其决策边界为:||x||(cos mθ1‑cosθ2)=0 for class1;

||x||(cosθ1‑cosmθ2)=0 for class 2;

其中θi是Wi和x之间的角度,Wi表示最后一个全连接层的参数,m,m>1是整数用来定量地控制角边缘的大小;

2‑4在全局模型和局部模型分别得到F2_g和F2_l之前会经过模型卷积层之后的第一个线性层,此时我们将全局和局部模型中第一个线性层的输出特征表述为F1_g和F1_l;F1_l,F1_g∈hR ,其中1表示为Sphereface模型中卷积层之后的第二个全连接层,h表示输出的向量长度,为512;将在这第一个线性层得到的17个局部特征F1_l_i,i=1,2,...,17与经过学习权重模型学到的权重w=[ω1,ω2,...,ω17]分别相乘,得到F′1_l_i,i=1,2,...,17并与全局特征F1_g合并得到一个新的特征向量,即 此时便可利用得到的新的特征向量进行人脸识别指标计算。

2.根据权利要求1所述的一种利用门控融合判别特征进行漫画人脸识别的方法,其特征在于步骤(1)所述的数据预处理:

1‑1.WebCaricature数据库是一个包含252位人物身份的6042个漫画和5974张照片组成,所以将数据集中随机一半人物身份的图片作为训练集,剩下的作为测试集;

1‑2.在处理全局模型的输入图片时,将图片缩放为112*96的固定尺寸;而在处理局部模型的输入图片时,根据17个关键点所在位置为中心按照H/112*20的大小裁剪出局部图片块,并将图片大小调整为20*20,其中H表示输入图像的高度,17个关键点分别对应WebCaricature数据集中所提到的关键点。

3.根据权利要求2所述的一种利用门控融合判别特征进行漫画人脸识别的方法,其特征在于步骤(3)所述的特征提取及处理:

3‑1在对漫画识别人脸的实验中,经过上述步骤可以得到所有漫画以及每个身份人脸的融合之后的特征向量,其中漫画特征向量个数为测试集中所有的漫画,而人脸特征向量个数为测试集中人物身份个数;人脸识别漫画实验中反之亦然;

3‑2将得到的漫画图片及人脸照片的特征向量f计算余弦距离,即,其中f1是漫画特征融合之后的向量,f2是人脸照

片特征融合之后的向量;

3‑3将计算得到的余弦距离进行排序,并计算rank‑1,rank‑10;

设有n张漫画图片,m张人脸照片,在计算漫画图片和人脸照片之间的余弦距离之后,得到n×m大小的距离矩阵,将该距离矩阵按行进行从小到大排序;故而对于rank‑1来说排第一的距离对应的漫画图片和人脸照片如果属于同一个人,便代表识别正确,反之识别错误;

对于rank‑10来说,排在前十的距离对应的漫画图片和人脸照片对中,有其中一对漫画图片和人脸照是同一个人便代表识别正确,反之识别错误;最后分别根据识别正确和错误的数量来计算百分比,也就是rank‑1和rank‑10指标的值。