1.人脸图像超分辨率二次重建方法,其特征在于,包括以下步骤:
步骤1,获取监控视频中过路行人的视频序列,然后进行人脸检测,提取目标个体人脸图像,并对提取的目标人脸图像进行质量评估,选择一些正面、清晰、光照强度好、尺寸大、运动变化小的图像;步骤2,对择优选择出的多帧图像进行图像灰度化处理,并进行多帧超分辨率重建,生成一质量好的虚拟人脸图像;步骤3,构建一个基于卷积神经网络CNN的人脸图像超分辨率重建MRES模型,用于高分辨率的样本图像与相应的低分辨图像之间映射关系的学习;步骤4,训练得到最终的高分辨率人脸图像;
所述步骤3的MRES模型按照模型搭建过程依次包括以下内容:
多尺度聚合模块:以inception结构为基础进行改变;具体变化为去除其中的池化层,并在5*5和3*3的卷积层前再添加一个1*1的卷积层,变化后的多尺度聚合模块同时使用不同大小的卷积核,可以提取不同的特征,增加了特征的多样性,并通过过滤器级联融合来实现特征融合;
残差块:采用残差学习的思想,即通过添加一个恒等映射x将学习目标H(x)=F(x)+x变为F(x),其中F(x)为输入图像与输出图像之间的差别,即残差;通过这种方法学习到的残差图像稀疏;
反卷积层:加入反卷积层后的网络,不需要先将输入的图片进行插值,即直接将低分辨率图像映射到高分辨率图像,加快了运行速度;卷积所增加的padding,全部为0,卷积后的图像是4*4,而原图是2*2;
激活函数:选用的激活函数为PReLU,激活函数的引入是为了增加神经网络模型的非线性;PReLU的函数公式为f(x)=max(ax,x)。
2.根据权利要求1所述的人脸图像超分辨率二次重建方法,其特征在于,所述步骤1具体包括:首先对摆放位置不太合理的监控摄像头位置方向进行调整,获取过路行人视频,然后对一小段时间内目标人脸进行检测和提取,得到目标人脸图像;其次通过图像质量评估模型择优选择多帧。
3.根据权利要求2所述的人脸图像超分辨率二次重建方法,其特征在于,所述步骤1目标人脸图像进行质量评估的具体内容为:通过矩阵的对称性来评估图像的正面性;
通过矩阵的核范数来表示图像的清晰度;图像的秩可以简单理解为图像所包含信息的丰富程度,所以可以利用图像的秩来表示图像的清晰度;由于图像的秩近似为矩阵的核范数,所以使用核范数来表示图像的清晰度;
利用YCbCr颜色空间中面部的亮度分量Y的平均值C来表示图像的光照强度;
利用人脸在人脸检测框中所占大小D表示人脸图像尺寸的大小;
通过加权和归一的方式来作为综合评价依据,选择5‑8帧;将评分最高的图像作为参考图像,并从选择出的几帧图像中挑选3帧与参考图像的运动变化最小的图像。
4.根据权利要求1所述的人脸图像超分辨率二次重建方法,其特征在于,所述步骤2的具体过程为:步骤2.1,先对择优选择出的多帧图像进行灰度化处理,减少色彩对图像处理的干扰,也可以降低维度,大大减少工作量;
步骤2.2,使用基于重构的方法对多帧人脸图像进行超分辨率重建;多帧人脸图像超分辨率重建方法主要过程如下:步骤2.2.1,使用运动估计方法来对多帧人脸图像进行配准;
步骤2.2.2,对模糊函数进行求解,即成像系统的PSF进行估计;
步骤2.2.3,选择合适的图像超分辨率重建模型;
步骤2.2.4,对运动参数矢量、模糊函数和图像超分辨率重建图像进行联合求解,得到最优解。
5.根据权利要求1所述的人脸图像超分辨率二次重建方法,其特征在于,所述步骤4中,利用步骤3获得的训练模型对步骤2的结果进行训练,得到最终的高分辨率人脸图像。
6.根据权利要求1所述的人脸图像超分辨率二次重建方法,其特征在于,所述步骤4的具体训练过程为:通过最小化重建图像F(X)和相应的高分辨率图像Y之间的损失函数L(θ)来实现,得到需要的估计参数θ={W1;W2;..Wn;B1;B2;..Bn},其中Wi为第i层卷积神经网络的系数,Bi是第i层卷积神经网络的偏置向量,其中i=1,…,n;n为卷积神经网络的层数,这里的损失函数可以取均方损失函数MSE;
网络训练时,可以输入不同尺寸的图像,以使得网络可以适用于不同的输入图像尺寸,具体方法为将几个指定比例的训练数据集合并为一个大数据集,并将其作为训练样本进行训练。