1. 一种基于化ffe框架的深度学习车牌字符识别方法,其特征在于,包括分类器训练w 及字符识别两个过程, 其中,分类器训练的具体步骤如下: 步骤1,对大量的样本车牌图像进行车牌定位、车牌校正、二值化处理和字符分割的预 处理,得到分割出的二值化字符图像集C_train,总共含有的样本个数为化am; 步骤2,字符处理:对字符图像集C_train中的各个字符图像进行中屯、化、切变校正W及 归一化的处理,得到归一化后的字符图像集(:_付曰山。。^; 步骤3,把字符图像集C_hainnw分成两个子集,分别为汉字图像集Cl_train和数字及 字母的非汉字图像集C2_train; 步骤4,建立两种基于化ffe架构的深度学习网络结构,其中,一种为汉字网络结构化1, 另一种为非汉字网络结构DL2; 步骤5,利用步骤4建立的网络结构训练分类器:把汉字图像集Cl_train作为输入,代入 汉字网络结构化1,训练得到汉字分类器化Cl;把非汉字图像集C2_train作为输入,代入非汉 字网络结构化2,训练得到非汉字分类器化C2 ; 字符识别的具体步骤如下: 步骤6,预先建立汉字索引表Tabi和非汉字索引表化b2,然后对抓拍视频流中每帖图像 定位的各个车牌图像进行步骤1的预处理,得到待识别各个车牌图像的字符样本集C,C = kl,C2,…(3。,-'0|«},其中(3。为车牌中的第111个字符,1《111《1,1为单个车牌包含的字符总个 数; 步骤7,对字符样本集C中的各个字符Cm经由步骤2的处理,得到归一化后的车牌字符 (""/ · m ' 步骤8,对车牌各个字符<1,^分别进行识别: 根据字符所在位置进行字符类型判断,如果是第一个字符,即为汉字字符,否则为非汉 字字符,把汉字字符代入汉字分类器化Cl,输出结果为汉字的类别索引其中d = 0, 1,…,Ni-1,m= 1,化为汉字的类别数,查找对应的汉字索引表化bi得到汉字的识别结果Rm,m =1;把非汉字字符代入非汉字分类器化C2,输出结果为非汉字的类别索引巧1,其中d = 0, 1,…,化-1,m = 2,3,…,M,化为非汉字字符的类别数,查找非汉字索引表化b2分别得到非汉 字字符的识别结果3。,111 = 2,3,-',1,按顺序合并各个字符的识别结果,得到车牌的识别结 果 Rp, Rp 二 URm,其中m 二 1,2,···,Μ。
2. 如权利要求1所述的一种基于Caffe框架的深度学习车牌字符识别方法,其特征在 于,所述步骤2字符处理的具体步骤如下: 步骤2.1,对字符集C_hain中的每一个字符进行几何投影,分别得到其垂直投影宽度, 计算投影宽度和字符标准宽度的差值,根据差值的取值对字符是否需要进行中屯、化处理进 行判断,若需要,则进行中屯、化处理;若不需要,不做任何处理,最终得到字符图像集(:_ tr 曰 inCen; 步骤2.2,对C_haineen中的每个车牌字符进行投影宽度最小化的切变校正,得到切变 校正后的字符图像集C_train™T; 步骤2.3,将切变校正后的字符图像集C_hainWT中的字符按1:2的宽高比进行大小归 一化,得到归一化的字符图像集C_trainn°T,其中每个字符的大小为wXh。
3. 如权利要求2所述的一种基于Caffe框架的深度学习车牌字符识别方法,其特征在 于,所述步骤2.1中判断字符是否中屯、化W及中屯、化的处理方法按照W下步骤实施: ① 对对字符集C_train中的各个字符图像trains进行垂直投影得到投影图像,其中j = 1,2,3-Nsa",对投影图像按列进行统计,得到每一列的关键点个数,即值为255的像素点个 数,记为Si,i = 1,2,…,wj,其中wj为字符trainj的宽度; ② 从投影图像的最左端开始向中间移动,找到第一个不为0的Si,其列号i作为左边界值 Bji;同理,从投影图像的最右端开始向中间移动,找到第一个不为0的Si,其列号i作为右边 界值&T; ③ 计算是否进行中屯、化的判断阔值Tj:④ 若Tj = 0,则不需要中屯、化处理;否则进行中屯、化处理,即,若T户0,则把字符图像 trainj中值为255的像素点向左平移Tj个单位;若Tj<0,则把字符图像化ainj中值为255的像 素点向右平移Tj个单位。
4. 如权利要求3所述的一种基于Caffe框架的深度学习车牌字符识别方法,其特征在 于,所述步骤2.2中对中屯、化后的字符图像集C_traineen进行切变校正的方法具体按照W下 步骤实施: ① 设置初始值:角度变化范围为[9s,0e],最小投影宽度wid = WID_MIN,旋转角度初始值 Θ = 0S,最佳旋转角度初始值0ba= Θ,角度增量
② 对字符图像集(:_付曰山。6。中的字符样本j二1,2,3,…扼。。旋转目角度,旋转后 经由2.1中的步骤①、②处理,得到字符样本的左右边界值B/和B/,确定其投影的宽度值 <,vrf ,判断W;是否小于wid,若是,则令、加= <,目/3 =目;若不是,继续步骤③; ③ 令当前的旋转角度Θ为步骤②中的旋转角度Θ加角度增量ΔΘ,并对当前旋转角度Θ值 进行判断,若则返回步骤②;若θ〉θ6,继续步骤④; ④ 根据eba取值确定图像immf所在的外接四边形巧; ⑤ 对四边形进行逆透视变换,得到校正后的字符图像化曲Γ,細。Γ=化謝-如.(C), 其中化ans_Per( ·)为逆透视变换函数。
5. 如权利要求1所述的一种基于Caffe框架的深度学习车牌字符识别方法,其特征在 于,所述步骤4的建立两种基于化ffe架构的深度学习网络结构具体按照W下步骤实施: 步骤4.1,建立深度学习汉字网络结构化1:该网络结构输入为车牌汉字图像集,大小为W XhXC,其中wXh为车牌汉字图像的分辨率,C为通道值;输出为车牌汉字类别索引的集合, 记为其中化代表车牌汉字的种类数;车牌汉字的网络结构的总层数为13,分别由1个 输入层,2个卷积层,2个池化层,3个激活层,2个全连接层,1个softmax层,1个化op层和1个 输出层连接而成,具体连接顺序为:输入-卷积-激活-池化-卷积-激活-池化-全连接-激活- 化op-全连接-softmax-输出; 步骤4.2,建立深度学习字母与数字的网络结构化2:该网络结构输入为车牌非汉字图像 集,大小为wXhXC,其中wXh为车牌汉字图像的分辨率,C为通道值;输出为车牌非汉字类 别索引的集合,记为其中化代表车牌非汉字的种类数;车牌非汉字的网络结构的总 层数为10,分别由1个输入层,2个卷积层,2个池化层,1个激活层,2个全连接层,1个softmax 层,1个输出层连接而成,具体连接顺序为:输入-卷积-池化-卷积-池化-全连接-激活-全连 接-sof tmax-输出。
6.如权利要求1或5所述的一种基于化ffe框架的深度学习车牌字符识别方法,其特征 在于,所述步骤5中训练分类器的方法具体按照如下步骤: ① 选择训练数据:W汉字图像集Cl_train作为训练汉字字符分类器的数据集,W非汉 字图像集C2_train作为训练非汉字字符分类器的数据集; ② 设置样本标签:汉字类别总共为化类,类别标签号0~化-1;非汉字的类别总共为化 类,类别标签号为0~化-1,分别制作汉字标签文件Labi,非汉字标签文件Lab2,标签文件的 内容包括汉字图像集Cl_train和非汉字图像集C2_train里每个字符样本所存的路径W及 对应类别标签号; ③ 利用化ffe架构,把汉字图像集Cl_train转化为数据库DBi,把将非汉字图像集转化为 数据库DB2; ④ 把网络结构、数据库DBi和DB2、汉字标签文件Labi和非汉字标签文件Lab2的所在路径 存入化ffe配置文件; ⑤ 设置训练参数存入化ffe配置文件; ⑥ 在化ffe架构下完成训练,利用数据库DBi、汉字标签文件Labi和汉字网络结构化1训 练生成汉字分类器化Cl;利用数据库DB2、非汉字标签文件Lab2和非汉字网络结构化2训练生 成数字及字母分类器化C2。