1.一种基于深度学习的车牌识别方法,其特征在于,所述方法包括:
在包含目标车牌的监控视频中,基于预设采样周期进行采样,得到包含所述目标车牌的多张视频图像;
将所述多张视频图像进行灰度转换,得到多张灰度视频图像;并将所述多张灰度视频图像归一化至预设大小,得到多张目标视频图像;
通过预设的x方向滤波器分别对各所述目标视频图像进行卷积运算,得到各所述目标视频图像对应的x边缘图像;通过预设的y方向滤波器分别对各所述目标视频图像进行卷积运算,得到各所述目标视频图像对应的y边缘图像;并根据各所述x边缘图像和对应的各所述y边缘图像,计算各所述目标视频图像对应的梯度图像;
将各所述梯度图像的像素值进行归一化,得到各归一化梯度图像,针对每张所述归一化梯度图像,对该归一化梯度图像进行直方图统计,得到该归一化梯度图像中各像素值的统计数量,并计算所述各统计数量占该归一化梯度图像总像素点数量的概率值,构建包含各所述概率值的该归一化梯度图像对应的梯度概率直方图;
获取预先计算得到的清晰车牌图像梯度概率直方图分布模板和模糊车牌图像梯度概率直方图分布模板,并针对每张所述归一化梯度图像,计算该归一化梯度图像对应的梯度概率直方图与所述清晰车牌图像梯度概率直方图分布模板的第一余弦距离,以及该归一化梯度图像对应的梯度概率直方图与所述模糊车牌图像梯度概率直方图分布模板的第二余弦距离,根据所述第一余弦距离和所述第二余弦距离的大小,确定该归一化梯度图像对应的清晰度置信度;所述清晰车牌图像梯度概率直方图分布模板根据预先获取的清晰图像计算得到,所述模糊车牌图像梯度概率直方图分布模板根据预先获取的模糊图像计算得到;
将清晰度置信度大于预设置信度阈值的归一化梯度图像对应的视频图像输入预先训练得到的卷积神经网络中,得到各所述视频图像对应的车牌识别结果;并根据各所述视频图像对应的车牌识别结果,以及各所述视频图像对应归一化梯度图像的清晰度置信度,得到所述目标车牌的最终识别结果;所述车牌识别结果包含预设位数个字符。
2.根据权利要求1所述的基于深度学习的车牌识别方法,其特征在于,所述根据各所述x边缘图像和对应的各所述y边缘图像,计算各所述目标视频图像对应的梯度图像的步骤包括:根据以下公式,计算任一目标视频图像对应的梯度图像中任一点的像素值G(x,y):
Gx为所述任一目标视频图像对应的x边缘图像中任一点的像素值,Gy为所述任一目标视频图像对应的y边缘图像中该点的像素值;
所述将各所述梯度图像的像素值进行归一化,得到各归一化梯度图像的步骤包括:
根据以下公式,对各所述梯度图像的像素值进行更新:
。
3.根据权利要求1所述的基于深度学习的车牌识别方法,其特征在于,所述计算所述各统计数量占该归一化梯度图像总像素点数量的概率值的步骤包括:根据以下公式,计算任一统计数量bi占该归一化梯度图像总像素点数量的概率值pi:
bj为该归一化梯度图像中像素值为j的像素点数量。
4.根据权利要求1所述的基于深度学习的车牌识别方法,其特征在于,所述计算该归一化梯度图像对应的梯度概率直方图与所述清晰车牌图像梯度概率直方图分布模板的第一余弦距离的步骤包括:根据以下公式,计算该归一化梯度图像对应的梯度概率直方图与所述清晰车牌图像梯度概率直方图分布模板的第一余弦距离:xi为该归一化梯度图像对应的梯度概率直方图中像素值i对应的概率值,yi为所述清晰车牌图像梯度概率直方图分布模板中像素值i对应的概率值。
5.根据权利要求1所述的基于深度学习的车牌识别方法,其特征在于,所述根据所述第一余弦距离和所述第二余弦距离的大小,确定该归一化梯度图像对应的清晰度置信度的步骤包括:当所述第一余弦距离大于所述第二余弦距离时,确定该归一化梯度图像对应的清晰度置信度为所述第一余弦距离;
当所述第一余弦距离不大于所述第二余弦距离时,确定该归一化梯度图像对应的清晰度置信度为0。
6.根据权利要求1所述的基于深度学习的车牌识别方法,其特征在于,所述根据各所述视频图像对应的车牌识别结果,以及各所述视频图像对应归一化梯度图像的清晰度置信度,得到所述目标车牌的最终识别结果的步骤包括:按照所述车牌识别结果的排列顺序,针对所述目标车牌中第h个字符,当所述视频图像中部分图像第h个字符首选识别结果均为k,且各部分图像的首选后验概率Sk与对应归一化梯度图像的清晰度置信度乘积之和最大时,确定所述目标车牌第h个字符的最终识别结果为k。
7.根据权利要求1所述的基于深度学习的车牌识别方法,其特征在于,所述清晰车牌图像梯度概率直方图分布模板和所述模糊车牌图像梯度概率直方图分布模板的构建过程包括:获取样本视频图像,将清晰度大于预设阈值的样本视频图像确定为清晰图像,将清晰度不大于所述预设阈值的样本视频图像确定为模糊图像;
计算各所述清晰图像对应的梯度概率直方图,以及各所述模糊图像对应的梯度概率直方图;
计算各所述清晰图像对应的梯度概率直方图中各同一像素值对应概率值的第一平均值,构建得到包含各所述第一平均值的清晰车牌图像梯度概率直方图分布模板;计算各所述模糊图像对应的梯度概率直方图中各同一像素值对应概率值的第二平均值,构建得到包含各所述第二平均值的模糊车牌图像梯度概率直方图分布模板。
8.根据权利要求1所述的基于深度学习的车牌识别方法,其特征在于,所述卷积神经网络采用梯度反向传播算法进行训练,所述卷积神经网络的损失函数为:其中,T为字符类别总数量,M为一个车牌中包含的字符位数,当得到分类结果正确时,yj的取值为1,否则为0;Sj为所述卷积神经网络输出的首选后验概率:ak为所述卷积神经网络估计得到的识别为字符k的距离,aj为所述卷积神经网络估计得到的识别为字符j的距离。
9.一种基于深度学习的车牌识别装置,其特征在于,所述装置包括:
视频采样模块,用于在包含目标车牌的监控视频中,基于预设采样周期进行采样,得到包含所述目标车牌的多张视频图像;
灰度转换模块,用于将所述多张视频图像进行灰度转换,得到多张灰度视频图像;并将所述多张灰度视频图像归一化至预设大小,得到多张目标视频图像;
滤波运算模块,用于通过预设的x方向滤波器分别对各所述目标视频图像进行卷积运算,得到各所述目标视频图像对应的x边缘图像;通过预设的y方向滤波器分别对各所述目标视频图像进行卷积运算,得到各所述目标视频图像对应的y边缘图像;并根据各所述x边缘图像和对应的各所述y边缘图像,计算各所述目标视频图像对应的梯度图像;
直方图统计模块,用于将各所述梯度图像的像素值进行归一化,得到各归一化梯度图像,针对每张所述归一化梯度图像,对该归一化梯度图像进行直方图统计,得到该归一化梯度图像中各像素值的统计数量,并计算所述各统计数量占该归一化梯度图像总像素点数量的概率值,构建包含各所述概率值的该归一化梯度图像对应的梯度概率直方图;
清晰度计算模块,用于获取预先计算得到的清晰车牌图像梯度概率直方图分布模板和模糊车牌图像梯度概率直方图分布模板,并针对每张所述归一化梯度图像,计算该归一化梯度图像对应的梯度概率直方图与所述清晰车牌图像梯度概率直方图分布模板的第一余弦距离,以及该归一化梯度图像对应的梯度概率直方图与所述模糊车牌图像梯度概率直方图分布模板的第二余弦距离,根据所述第一余弦距离和所述第二余弦距离的大小,确定该归一化梯度图像对应的清晰度置信度;所述清晰车牌图像梯度概率直方图分布模板根据预先获取的清晰图像计算得到,所述模糊车牌图像梯度概率直方图分布模板根据预先获取的模糊图像计算得到;
车牌识别模块,用于将清晰度置信度大于预设置信度阈值的归一化梯度图像对应的视频图像输入预先训练得到的卷积神经网络中,得到各所述视频图像对应的车牌识别结果;
并根据各所述视频图像对应的车牌识别结果,以及各所述视频图像对应归一化梯度图像的清晰度置信度,得到所述目标车牌的最终识别结果;所述车牌识别结果包含预设位数个字符。
10.根据权利要求9所述的基于深度学习的车牌识别装置,其特征在于,所述滤波运算模块,具体用于根据以下公式,计算任一目标视频图像对应的梯度图像中任一点的像素值G(x,y):Gx为所述任一目标视频图像对应的x边缘图像中任一点的像素值,Gy为所述任一目标视频图像对应的y边缘图像中该点的像素值;
所述直方图统计模块,具体用于根据以下公式,对各所述梯度图像的像素值进行更新:
。