欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 202010029219X
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-26
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多尺度HOG特征和深层特征的合成素描人脸识别方法,其特征在于:同时考虑低层次纹理特征和高层次特征,实现素描人脸图像和人脸照片之间的直接匹配,具体实现步骤如下:S1、人脸预处理;

S2、面部关键部位的提取;

S3、多尺度HOG特征提取和深度特征提取;

S4、分数层自适应融合和匹配素描-人脸对。

2.根据权利要求1所述的一种基于多尺度HOG特征和深层特征的合成素描人脸识别方法,其特征在于所述步骤S1具体包括:S11、将素描人脸库中的N张彩色素描-照片对转为单通道的灰度图像;

S12、使用Dlib库检测人脸68个关键点坐标;

S13、通过68个关键点坐标通过仿射矩阵将图像对齐;

S14、裁剪对齐后的图像,让裁剪后的图像相对传统的人脸剪裁区域使得人脸头发区域也可见;

S15、将裁剪后的照片和素描进行尺度归一化处理,分别得到尺度统一的照片和素描。

3.根据权利要求2所述的一种基于多尺度HOG特征和深层特征的合成素描人脸识别方法,其特征在于所述步骤S2具体包括:S21、经过步骤S1之后,得到尺度统一的人脸照片和人脸素描,分别对其进行人脸关键点提取;

S22、通过面部关键点确定面部关键部位的宽,通过长宽比确定面部关键部位对应的长,之后对图像进行关键部位的分割,所述关键部位包括头发、眉毛、眼睛、鼻子、嘴巴和下颌轮廓六个部位。

4.根据权利要求3所述的一种基于多尺度HOG特征和深层特征的合成素描人脸识别方法,其特征在于所述步骤S3具体包括:S31、经过步骤S2后,每张图像均对应一张图和六个局部图像块,分别对整图和六个局部图像块提取HOG特征,以此描述图像的低层细节特征;

S311、分别对整图和六个局部图像块提取HOG特征,以此描述图像的低层细节特征;HOG特征原理如下:将图像进行分块,记图像块大小为s*s。将每个s*s的图像块平均分为4个小块,每个小块再被平均分为4个胞元,其中每个胞元的尺寸为(s/4)*(s/4);

S312、计算胞元中每个像素的梯度大小和方向;

S313、将梯度方向平均分为n个方向,之后统计每个胞元位于同一梯度方向取值范围内的像素点的梯度幅值,将其累加,得到一个n维的胞元特征向量;

S314、计算每个小块中的胞元特征向量,将其串联在一起组成一个小块的特征向量,将小块的特征向量串联在一起,构成一个块的特征向量,将每个块的特征向量串联在一起,便构成一张图像的特征向量,该特征向量即为要提取的图像的HOG特征向量;

S32、为了得到更具分辨性的特征,对以上得到的HOG特征进行LDA降维操作,得到最终的HOG特征;

S33、将图像输入到预训练好的网络模型中进行深度特征提取,以此描述图像的高层特征;用LFW数据集预训练好的VGGFACE网络模型直接提取图像的深度特征,其中VGGFACE网络模型结构包括:十三层卷积层、三层全连接层以及一层基于softmax方法的非线性分类层。

5.根据权利要求4所述的一种基于多尺度HOG特征和深层特征的合成素描人脸识别方法,其特征在于所述步骤S4具体包括:S41、经过步骤S3后,将会得到素描人脸和人脸照片对应的特征,通过计算素描人脸和人脸照片的特征向量之间的欧式距离来表达它们之间的相似度;其中,每张图像对应八类特征向量,包括整图的HOG特征,六个局部图像块的HOG特征以及整图的深度特征,将测试集中所有图像的每类特征向量汇到一起组成一个特征矩阵,则测试集中的M张人脸素描对应八个特征矩阵,同理,测试集中的N张人脸照片也对应八个特征矩阵;以鼻子部位为例,素描人脸测试集对应的鼻子部位的特征矩阵为:人脸照片测试集对应的鼻子部位的特征矩阵为:

素描测试集与人脸照片测试集之间,鼻子部位对应的特征相似矩阵为:

根据上述方法,可以得出整图的HOG特征,六个关键部位的HOG特征和整图深度特征对应的八个特征相似度矩阵(Dall,Dhair,Deyebrows,Deyes,Dnose,Dmouth,Djaw,Ddeep),由于不同特征得到的相似度并不在同一尺度下,采用零-均值标准化的方法对相似度矩阵进行归一化处理;

S421、首先,要对特征进行归一化,将其归一化到0到1之间,使其在同一尺度下方便判断,以鼻子部位特征为例,其特征归一化公式为:其中Fnose为未归一化的特征,Fmin为测试集中鼻子特征向量最小的特征向量,Fmax为测试集中鼻子特征向量最大的特征向量,Fnose-norm为归一化后的鼻子特征向量;将归一化后的向量与平均向量做差,得到对应的差向量;将其余七类向量也按以上步骤操作,得到相对应的差向量;通过比较同一张素描人脸七个特征向量对应的差向量的向量大小,将其按照从大到小的顺序排列;

S422、经过步骤S421,得到一张素描人脸七个特征向量对应的顺序,将其对应的顺序代入下列公式,便可得到八个特征向量对应的权重;公式如下:其中i表示七个特征向量对应的顺序,Y为常数,W(i)代表七个特征向量对应的权重,W(deep)代表深度特征向量对应的权重;

S43、经过步骤S42后,测试集中每张素描人脸均对应八个特征权重,则m张素描人脸对应m*8个特征权重,通过这m*8个特征权重将八个特征相似度矩阵进行融合,得到最终的相似度矩阵:T

D=[Dall,Dhair,Deyebrows,Deyes,Dnose,Dmouth,Djaw,Ddeep]×W其中,WT表示自适应方法得到的特征权重。之后,根据最终所得的相似度矩阵,根据相似度从大到小的顺序,得到最终的匹配列表。