1.一种口罩佩戴识别方法,其特征在于,该方法包括以下步骤:S1、进行人脸检测模型训练,包括如下步骤:S11、使用成像光谱仪采集1000张样本人脸图片,对样本数据进行采集和扩充,得到
5000张样本人脸图片,使训练出的人脸检测模型具有高的鲁棒性;
S12、使用图像标注软件对样本图片中的人脸进行标注,框选出图中的人脸并标记出人脸中的关键点,标记的5个人脸关键点分别为左右眼、鼻子和左右嘴角;
S13、搭建基于多任务卷积神经网络MTCNN的人脸检测模型,进行人脸检测模型的训练,通过训练网络输出网络模型,用训练好的模型预测图像中是否存在人脸以及人脸、关键点的坐标位置;
多任务卷积神经网络损失函数包括人脸分类 边界框回归 和关键点定位三部分,具体包括:
其中,xi为输入样本,pi为样本是人脸的概率, 表示真实边界框标签;
其中, 表示网络预测的回归目标, 表示真实框坐标;
其中, 表示网络预测的第i个面部关键点的坐标, 表示第i个面部关键点的真实坐标;
整体损失函数如下:
其中,N为训练样本的数量,αj表示任务的重要性,在建议网络P-Net和精修网络R-Net中,αdet=1、αbox=0.5、αlandmark=0.5;在输出网络O-Net中,αdet=1、αbox=0.5、αlandmark=1,j jβi为样本标签,Li表示上面的分类、回归或者定位的损失函数;
S2、进行口罩佩戴识别模型训练,包括如下步骤:针对口罩佩戴识别问题,训练支持向量机分类器,用以对人脸检测模型得出的人脸图像进行光谱分类,以实现口罩识别;
S21、训练集、测试集的构建:首先通过图像软件在人脸光谱图像上进行样本感兴趣区域的标记,感兴趣区域的类型选择为点,分别用不同颜色标定各样本,每类样本选择1000个点,标记完所有样本后计算标记样本的可分离度,符合条件后保存样本感兴趣区域文件,通过其获取样本感兴趣区域的坐标信息和标签信息,将感兴趣区域的坐标信息转化为对应位置点的波段信息,构建训练集和测试集;
S22、确定初始化参数,完成训练:支持向量机核函数选择多项式核函数,其定义如下:K(x,y)=(gamma*x*y+coef0)degree (5)其中,x,y表示原始样本,多项式核函数中的gamma初始化为0.33,多项式核函数中的coef0初始化为1,多项式核函数的次数degree初始化为6,通过训练得到模型参数;
S23、通过支持向量机分类器实现口罩佩戴识别:通过训练好的支持向量机分类器对待分类图像进行分类时先将单个波段的图像拉伸为一个列向量,将预测图像转化为2维矩阵进行预测,再将得到的预测结果对应到相应位置,进行可视化显示。
2.根据权利要求1所述的口罩佩戴识别方法,其特征在于,所述S13中,人脸检测模型的训练过程为:
S131、将图像进行不同尺度的变换,构建图像金字塔,以适应不同大小人脸的检测;
S132、使用建议网络P-Net网络对图像金字塔进行特征提取和边框标定,使用较浅层简单的卷积神经网络快速生成人脸候选窗口,供精修网络R-Net进一步处理;
S133、精修网络R-Net对生成的候选框进行细化选择,过滤掉大部分错误输入并再次进行边界框回归和关键点定位,进一步优化过滤候选区域;
S134、输出网络O-Net通过较精修网络R-Net多出的一层卷积结构识别面部区域并回归面部的5个特征点。
3.根据权利要求1所述的口罩佩戴识别方法,其特征在于,所述S12中,标注完所有图片后,输出xml文件,保存标注信息,并将xml文件转换成txt文件,其中负样本、正样本、部分样本和关键点样本的比例为3:1:1:2,标签分别为0、1、2、3。
4.根据权利要求2所述的口罩佩戴识别方法,其特征在于,多任务卷积神经网络MTCNN将人脸区域检测与人脸关键点检测放在一起,通过建议网络P-Net、精修网络R-Net和输出网络O-Net三个网络级联,分步精调,实现人脸区域及人脸关键点坐标位置的预测,缩小基于光谱图像的口罩识别范围。
5.根据权利要求1所述的口罩佩戴识别方法,其特征在于,所用光谱仪采集的光谱图像光谱通道不少于9个,通过面部关键点定位结合人脸区域光谱图像分类辨别正确佩戴口罩与衣物遮挡情况。