欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021112147219
申请人: 齐鲁工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深层特征和浅层特征融合的目标检测方法,其特征在于,包括以下步骤:

1)构建目标检测网络模型,包含分类网络+特征融合网络+预测网络;

2)获取数字图像,分为训练集和测试集;

3)将图像增强过后的图片x首先输入到分类网络进行特征提取,然后再将特征提取的结果输入到特征融合网络进行特征融合,所述特征融合的具体步骤如下:

3‑1)将处理后的图像输入到DenseNet169网络中进行CNN特征的提取;

3‑2)将提取到的特征进行融合,具体分为6个不同尺度的分支,分别为scale_1、scale_

2、scale_3、scale_4、scale_5、scale_6;其中scale_1、scale_2和scale_3三个分支首先对提取的特征进行平均均值化和最大值池化,然后对结果进行相加,如公式(1)所示;

X为Densenet169提取的CNN的特征,k为池化核大小,i,j指代池化核的宽度和高度坐标,m,n为输出特征值的坐标,Max操作是指从X的左上角为起始点划定k×k的区域,选取区域内的最大值xi,j,并和区域内的均值进行相加进行融合得到ym,n,让操作区域在宽度和高度两个维度以步长为1进行遍历,得到融合后的特征图Y;

scale_4不做任何处理,直接输入到最后的预测模块;

scale_5、scale_6两个分支对特征进行像素重组和逆卷积,如公式(2)所示;

Y=PixelShuffle(X,ratio)+deconvolution(X,stride,padding,output_padding) (2)Y为整个特征图的输出响应,其中PixelShuffle操作是将输入的特征图X的通道数c这一维度进行缩减,增加宽度w和高度h的数量,整体特征总数保持不变;deconvolution是指逆卷积操作,将特征图X逆卷积成和PixcelShuffle操作输出一样的维度,其中stride是卷积的步长,padding是特征图填充像素数量,output_padding是输出特征图的像素填充数量,最后将两种操作的输出相加得到最后的融合特征图Y;

最后利用融合后的特征图对模型进行分类和回归得到预测值,使用预测值、标签y、预选框匹配结果和Loss函数计算得到误差进行反向传播,更新网络模型中参数,通过多次迭代训练得到了保存模型参数的文件;

4)对模型进行测试,首先将训练保存的参数文件导入预测网络模型,然后把测试集中的图片x输入到预测网络模型中,得到冗余的预测值,最后通过NMS算法去除冗余的预测值,得到最终结果。

2.根据权利要求1所述的基于深层特征和浅层特征融合的目标检测方法,其特征在于,所述Loss函数设计过程如下:使用softmaxloss来进行分类,使用了smoothl1进行位置拟合;

首先要进行预选框的匹配,计算预选框坐标a和定位标签g的IOU值,此处预选框的生成机制和匹配策略采用SSD算法当中的方法,将IOU大于0.5的预选框索引设为1,然后将标签分类标签c和定位标签g赋值给标记为1的预选框,通过L_conf和L_loc计算分类损失和定位损失,最后将误差反向传播,更新网络参数;

具体公式如下:

其中x为分类预测向量,c为分类标签,l为定位预测向量,a为预选框坐标,g为定位标签;L_conf是分类损失,L_loc是定位损失;其中i为预选框的索引,j为图像中对象的索引,p为分类向量中每个元素的索引,cx,cy是预测框与真实框的中心偏移量,w为宽度偏移量,h为高度偏移量。

3.根据权利要求1所述的基于深层特征和浅层特征融合的目标检测方法,其特征在于,所述图像增强具体过程如下:所述图像增强包括随机剪裁,随机亮度,随机扩展,随机镜像,将四种处理方式随机组合处理图像;将得到的处理后图像进行重采样处理,并且进行零均值化处理。

4.根据权利要求1所述的基于深层特征和浅层特征融合的目标检测方法,其特征在于,所述预测值计算具体步骤如下:将得到的六个特征图进行BatchNorm(BN),Relu,然后分别输入到六个预测网络,预测网络有两个分支处理Y,第一个分支将Y进行连续的3个1×1卷积操作,分别为1×1conv(Y_c,512),1×1conv(512,512),1×1conv(512,1024),Y_c是指输入的特征图Y的通道数,第二个分支将Y进行1×1conv(Y_c,1024),最后将两个分支的结果相加,最后进行分类预测1×

1conv(1024,num_class*num_prior)和位置预测1×1conv(1024,4*num_prior),其中num_class是指要识别物体类别的数量,num_prior是指每个位置预选框的数量,4是指位置坐标的数量。

5.根据权利要求1所述的基于深层特征和浅层特征融合的目标检测方法,其特征在于,所述NMS算法去除冗余预测值的具体步骤如下:先将每一类的置信度最高并且超过0.5的框选定作为初始框的某一个框,让剩余的这类的预测框分别计算和这个初始框的IOU,将IOU超过0.1的预测框移除。