1.一种多尺寸货架商品检测方法,其特征在于,所述方法包括以下步骤:(1)获得待检测的货架图像;
(2)对步骤(1)中所述货架图像进行预处理,通过边缘检测,霍夫变换和直线筛选,检测出图像中的货架边缘位置,对于货架层数过多的图像进行切分,对于货架倾斜的图像进行畸变矫正;
(3)将步骤(2)中得到的图像输入特征提取网络,得到5层不同深浅的特征图;
(4)将得到的各层特征图进行特征融合;
(5)通过区域提名网络对特征图进行区域提名,得到候选框;
(6)利用目标检测网络进一步修正候选框并推理出待检测商品的种类与精确坐标位置。
2.如权利要求1所述的一种多尺寸货架商品检测方法,其特征在于,所述方法还包括以下步骤:(7)如果步骤(2)中的图像如果进行了切分操作,则将各个切分子图经过步骤(6)的输出结果进行集成;如果步骤(2)中的图像如果进行了畸变矫正的图像,对该图像在步骤(6)的输出结果进行反畸变矫正。
3.如权利要求1或2所述的一种多尺寸货架商品检测方法,其特征在于,所述步骤(2)中,图像预处理包括以下步骤:(2a)对原始图像进行阈值分割,得到二值化图像;
(2b)选取Canny算子对步骤(2a)得到的二值化图像进行边缘检测,得到边缘轮廓图像;
(2c)对步骤(2b)得到的边缘轮廓图像进行霍夫变换检测直线,得到图像中所有直线的位置;
(2d)对步骤(2c)得到的直线进行横向筛选,得到每一层货架边缘的位置信息以及总的货架层数;
(2e)根据步骤(2d)得到的货架层数,对于层数大于7层的货架图像,沿着货架总层数的中位数层将其切分为2张货架图像子图;
(2f)根据步骤(2d)得到的货架边缘直线的位置信息,对于水平角度倾斜大于正负15度的货架图像进行畸变矫正,如果该图像在步骤(2e)中进行了切分,则对两张子图分别进行畸变矫正;
(2g)对货架图像子图进行缩放,记图像的高为h,宽为w,记h,w两个值中较大的值为l,较小的值为s,设定阈值t、图像最短边emin、图像最长边emax,若 将图像在竖直方向与水平方向上等比缩放 倍,若 将图像在竖直方向与水平方向上等比缩放 倍。
4.如权利要求3所述的一种多尺寸货架商品检测方法,其特征在于,所述步骤(2d)中的直线横向筛选过程为:直线段和水平方向夹角小于正负40度为横向直线,根据所有横向直线的高度位置,从高到低依次遍历;若当前横向直线的长度大于等于图像宽度的3/5,且与上一条直线的间隔大于图像高度的1/10则作为货架边缘保留下来;
根据步骤(2d)得到的货架边缘直线,从原图中提取出每一层货架的区域,以上侧货架边缘作为基准,计算上侧货架边缘与从左至右的水平线在正方向上的夹角α°,下侧货架边缘与水平线在正方向上夹角β°,α和β均取夹角中绝对值较小的值;记该矩形区域上下边缘的最左侧顶点之间的距离为h,将该矩形区域的水平方向的宽度记为w,对该矩形区域,从左至右逐列对每一列像素做竖直方向上的等比缩放,对第wi列像素的缩放比pi的计算公式为:若α-β大于0, 若α-β小于0, 然后,将经过畸变矫正的区域图像逆时针旋转α°,最后,将经过畸变矫正和旋转的区域图像重新整合到一起,对整合图像做边界扩充,直到图像的边界平整,至此,畸变矫正过程完成。
5.如权利要求1或2所述的一种多尺寸货架商品检测方法,其特征在于,所述步骤(3)中,所述的特征提取网络包含第一卷积单元conv1、第二卷积单元conv2、第三卷积单元conv3、第四卷积单元conv4、第五卷积单元conv5,conv1包含两个3*3*64的卷积层以及一个池化层,conv2包含两个3*3*128的卷积层以及一个池化层,conv3包含四个3*3*256的卷积层以及一个池化层,conv4包含四个3*3*512的卷积层以及一个池化层,conv5包含四个3*3*
512的卷积层以及一个池化层。
6.如权利要求5所述的一种多尺寸货架商品检测方法,其特征在于,所述步骤(3)中,特征提取过程包括以下步骤:(3a)将步骤(2)输出的图像输入conv1卷积单元,得到第一层特征图记为a1,尺寸为(M/
2*N/2*64);
(3b)将第一层特征图输入conv2卷积单元,得到第二层特征图记为a2,尺寸为(M/4*N/
4*128),;
(3c)将第二层特征图输入conv3卷积单元,得到第三层特征图记为a3,尺寸为(M/8*N/
8*256);
(3d)将第三层特征图输入conv4卷积单元,得到第四层特征图记为a4,尺寸为(M/16*N/
16*512);
(3e)将第四层特征图输入conv5卷积单元,得到第五层特征图记为a5,尺寸为(M/32*N/
32*512)。
7.如权利要求1或2所述的一种多尺寸货架商品检测方法,其特征在于,所述步骤(4)中,所述的特征融合指在步骤(3)提取到的各层特征图上,先对上一层特征图做上采样操作,再通过1*1卷积使当前层的特征图通道数减半,最后将它们相加,用bn来表示融合后的特征图,其计算公式为:b1=a1
b2=1*1卷积(a2)+上采样(b1)
b3=1*1卷积(a3)+上采样(b2)
b4=1*1卷积(a4)+上采样(b3)
b5=1*1卷积(a5)+上采样(b4)。
8.如权利要求1或2所述的一种多尺寸货架商品检测方法,其特征在于,所述步骤(5)中,所述的区域提名网络包括一个卷积层和分别用于分类和回归的两个全连接层,实现步骤为:(5a)将步骤(4)输出的特征图b5输入卷积层进一步提取高层特征;
(5b)在步骤(5a)输出的特征图上的每一点生成9种不同规格大小的候选框:三种长宽比{1:1,2:1,3:1}×三种尺度放大倍数{64,128,256};
(5c)用于分类的全连接层推测出每个框是不是商品的概率值,剔除概率值小于0.5的框;
(5d)使用非极大值抑制算法处理步骤(5c)中输出的候选框,选取概率值最高的m个候选框作为区域提名网络的输出。
9.如权利要求1或2所述的一种多尺寸货架商品检测方法,其特征在于,所述步骤(6)中,所述的目标检测网络包括一个兴趣区域池化层、两个用于提取特征的全连接层、一个n分类的全连接、一个回归全连接层,操作步骤为:(6a)将步骤(5)提取出的m个候选框通过坐标的映射变换映射到步骤(3)所提取出的特征图上,得到对应候选框位置的局部特征图,通过兴趣区域池化(regions of interest Pooling)操作将不同大小的局部特征图划分为固定的14*14个子区域,然后在每一个子区域中取其中的最大值,即将不同尺寸的局部特征图转化成了同样维度的特征图;
(6b)将步骤(6a)得到的特征图输入两层包含4096个神经元的全连接层提取特征向量;
(6c)将步骤(6b)得到的特征向量分别送入n分类的全连接层,n为待检测商品种类的数量,输出n维向量,其中取值最高项的索引值即为该区域类别;
(6d)将步骤(6b)得到的特征向量分别送入用于回归预测的全连接层,输出4n维向量,其中包含对应步骤(6b)检测出内容的n组坐标 对应步骤(6b)确定的商品种类的索引值。
10.如权利要求3所述的一种多尺寸货架商品检测方法,其特征在于,所述步骤(7)中,所述的集成操作和反畸变矫正包括以下步骤:(7a)步骤(2)中的图像如果进行了切分操作,首先根据步骤(2g)中对各子图的缩放比例p,将各切分子图在步骤(6)的输出结果(Xl,Yl,Xr,Yr)缩放 倍,记处于原图上侧位置的子图为A,长宽为(m,n),处于原图下侧位置的子图为B,对B子图在步骤(6)的输出结果在Y方向上加 得到 完成对各个子图结果的集成;
(7b)步骤(2)中的图像如果进行了畸变矫正,首先根据步骤(6)输出的结果判断其所在货架层数,得到步骤(2f)对该层货架区域的缩放比pi和旋转角度α,再将步骤(6)输出结果逆时针旋转α°,最后从左至右逐点对下侧边界的每一点的y值缩放倍,完成对区域的反畸变矫正。