1.一种基于多特征的三阶段车辆检索方法,其特征在于,包括如下步骤:步骤1:首先训练得到检索过程中需要用到的检测模型和分类模型,包括:车窗检测模型winDetect、基于车脸区域的车辆颜色识别模型colorClassify、基于车型重构图像的深度特征提取网络模型carTypeFeature及基于车辆重构图像的深度特征提取网络模型carFeature;其中,车脸区域根据一种基于车窗的车辆区域分割方法得到;
所述步骤1中的一种基于车窗的车辆区域分割方法具体过程如下:
1.1):对于任意车辆图像A,首先利用检测模型winDetect定位车窗的大致位置,并截取W W L
得到车窗图像A ,确定车窗图像A上车窗的上、下、左、右边线的检测区域分别为:D (0,0,w/R T B
3,h)、D (2*w/3‑1,0,w/3,h)、D(0,0,w,h/5)、D (0,4*h/5‑1,w,h/5),其中w、h分别表示车窗W
图像A的宽、高;
1.2):利用一种直线检测方法,分别在对应检测区域内找到车窗上、下、左、右四条边T R B L
线,并将其在图像A上的对应直线分别记为L、L、L、L;
1.3):根据如下规则确定车辆的车脸、车窗、车顶、左车身、右车身区域:R B L
a)车脸区域:图像A上直线L、L、L、图像A底边围成的任意多边形区域;
R B L T
b)车窗区域:图像A上直线L、L、L、L围成的四边形区域;
R B L
c)车顶区域:图像A上直线L、L、L、图像A顶边围成的任意多边形区域;
L
d)左车身区域:图像A上直线L左侧的任意多边形区域;
R
e)右车身区域:图像A上直线L右侧的任意多边形区域;
步骤2:将被检索的目标车辆记为I,将车辆搜索库中车辆集记为X={x0,x1,...,xn‑1};
步骤3:用基于车脸区域的车辆颜色识别模型colorClassify识别目标车辆I和车辆集X中所有车辆的颜色,然后从X中找到与目标车辆I颜色相同的车辆,组成车辆集S1;
T T
步骤4:得到目标车辆I和车辆集S1对应的车型重构图像,记为I 和S1 ,用基于车型重构T T
图像的深度网络模型carTypeFeature提取I 和S1对应的车型特征向量,找到车辆集S1中所有满足对应车型特征向量与I的车型特征向量的欧氏距离小于λ1的车辆,组成新的车辆集,记为S2;其中λ1为预先给定的同车型车辆在特征空间的最大欧氏距离阈值;
C C
步骤5:得到目标车辆I和车辆集S2对应的车辆重构图像,记为I 和S2 ,用基于车型重构C C
图像的深度网络模型carFeature提取I和S2 对应的车辆特征向量,找到车辆集S2中所有满足对应车辆特征向量与I的车辆特征向量的欧氏距离小于λ2的车辆,组成新的车辆集,记为S3;其中λ2为预先给定的相同车辆在特征空间的最大欧氏距离阈值。
2.根据权利要求1所述的一种基于多特征的三阶段车辆检索方法,其特征在于,所述步骤4中的车型重构图像的获取的具体步骤如下:
4.1):对于任意车辆图像A,首先利用一种基于车窗的车辆区域分割方法进行车辆图像区域分割,然后将图像A上得到对应的车脸区域图像、车身区域图像分别记为A1,A2;其中,车身区域图像为左右车身区域中较大的区域对应的区域图像;
4.2):若车身区域图像A2对应的是右车身区域,则水平翻转图像;
4.3):将图像A1,A2统一缩放到200px*200px大小,然后按照从左到右的顺序水平拼接得到车辆A对应的车型重构图像。
3.根据权利要求1所述的一种基于多特征的三阶段车辆检索方法,其特征在于,所述步骤1和步骤5中的车辆重构图像的获取的具体过程如下:
5.1):对于任意车辆图像A,首先利用一种基于车窗的车辆区域分割方法进行车辆图像区域分割,然后将图像A上得到对应的车脸区域图像、车窗区域图像、车身区域图像、车顶区域图像分别记为A1,A2,A3,A4;其中,车身区域图像为左右车身区域中较大的区域对应的区域图像;
5.2):若车身区域图像A3对应的是右车身区域,则水平翻转图像;
5.3):将图像A1,A2,A3,A4统一缩放到200px*200px大小,然后按照从左到右的顺序水平拼接得到车辆A对应的车辆重构图像。
4.根据权利要求1所述的一种基于多特征的三阶段车辆检索方法,其特征在于,所述步骤1中,
车窗检测模型winDetect:基于yolo检测网络训练得到;
基于车脸区域的车辆颜色识别模型colorClassify:基于SVM分类器训练得到,用到的特征为车脸区域的统计HSV颜色直方图特征,其由36维的H分量、20维的S分量、20维的V分量组成,该SVM分类器识别黑、白、红、黄、蓝和绿六大车辆颜色;
基于车型重构图像的深度特征提取网络模型carTypeFeature:包括用于进行训练的网络模型结构及用于进行特征提取的网络模型结构,且用于进行特征提取的网络模型结构由一个分类网络和一个双输入的图像匹配网络组成,构成其的基础网络结构为caffeNet,网络提取特征的维度为2048;所述基于车型重构图像的深度特征提取网络模型carTypeFeature的训练数据集为一种细类别车型数据集;
基于车型重构图像的深度特征提取网络模型carFeature:其网络模型与基于车型重构图像的深度特征提取网络模型carTypeFeature结构相同,所述基于车型重构图像的深度特征提取网络模型carFeature的训练数据集为一种车辆重识别数据集。
5.根据权利要求1所述的一种基于多特征的三阶段车辆检索方法,其特征在于,所述一种直线检测方法具体如下:
1)对于检测图像X,首先给定目标直线的角度范围,记为[angleMin,angleMax];
2)对图像X进行高斯滤波、Canny边缘检测、Hough直线检测,得到直线集L={li|i=0,
1,…,NL‑1},NL为检测出的所有直线数量;
3)找到直线集L中角度满足在[angleMin,angleMax]范围内的所有直线,则这些直线中对应length最大的直线为图像中的目标关键直线;其中,直线li.length为直线li经过的所有边缘点相距最远的两个点的距离。