欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021108496096
申请人: 广西师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-12-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于计算机视觉半监督伪标签学习的小麦头检测方法,其特征在于,所述方法包括:训练不同的小麦头检测模型和半监督伪标签学习策略,其中,

1)训练不同的小麦头检测模型为:训练不同的基于监督训练方式的第一小麦头检测模型和第二小麦头检测模型,训练小麦头检测模型所使用的数据集是全球小麦头检测数据集,全球小麦头检测数据集用来估计小麦头的数量和大小,选取全球小麦头检测数据集中来自欧洲地区的法国、英国和瑞士、北美地区的加拿大的3000多张图像作为训练数据集,选取全球小麦头检测数据集中来自澳大利亚,日本和中国的1000张不同地域不同品种的小麦头图像作为测试数据集,第一小麦头检测模型以yolov5s为基准模型,训练过程如下:

1‑1)训练样本从全球小麦头检测数据集的训练集部分进行批量选取,每批次随机读取n张图片,n的数值任意选择;

1‑2)读取图片后进行尺度缩放为640×640像素尺寸;

1‑3)对所有批量图片进行数据增广,包括变换颜色空间、图片旋转、随机平移、翻转、Mosaic、仿射变换;

1‑4)经过数据增广后的图片批量输入yolov5s网络模型,预测得到图片中的目标类别和位置信息,包括目标物体类别、预测边界框中心点坐标、宽、高,接着把第一小麦头检测模型的预测值与输入图片的目标标签通过损失函数进行损失计算,计算得到的损失值会通过反向传播算法将梯度回传给网络,进行网络参数的迭代更新,其中,第一小麦头检测模型的分类损失函数采用Focal loss损失函数,如公式(1)所示:其中,Lcls代表分类损失函数,α和γ是损失函数的超参数,代表第一小麦头检测模型的分类预测值,介于0到1之间,

第一小麦头检测模型采用GIoU损失函数作为回归损失函数,如公式(2)所示:其中,Lloc代表回归损失函数,A代表预测边界框的面积,B代表目标真实标注框的面积,C代表能够将A和B包围的最小矩形的面积,IoUAB代表预测边界框A和目标真实标注框的面积交并比,C/(A∪B)代表最小包围矩形C的面积减去A预测框与B真实标注框面积的并集的差值;

第二小麦头检测模型以EfficientDet作为基准模型,第二小麦头检测模型包括特征提取子网络、加权双向特征金字塔子网络和分类回归子网络,组成网络的移动翻转瓶颈卷积子模块和双向特征金字塔子模块定义如下:移动翻转瓶颈卷积子模块的输入是通道维度是C的特征向量,首先经过一个1×1卷积层进行升维、并顺序经过批归一化层、swish激活函数、5×5深度可分离卷积层、批归一化层、swish激活函数,然后分成两个分支,第一个分支设有全局平均池化层、1×1卷积层、swish激活函数、1×1卷积层、sigmoid激活函数,第二个分支设有1×1卷积层进行降维、批归一化层、dropout函数,最后将模块的输入向量和第二分支的输出向量进行残差连接作为模块的最终输出;

双向特征金字塔子模块的输入是特征提取网络的C3、C4、C5三层特征层的输出向量以及C5特征向量经过两次池化的C6、C7特征向量,首先C7特征向量进行上采样与C6特征向量进行相加并经过一个3×3卷积层得到中间特征向量1,中间特征向量1进行上采样与C5特征向量进行相加并经过一个3×3卷积层得到中间特征向量2,中间特征向量2进行上采样与C4特征向量进行相加并经过一个3×3卷积层得到中间特征向量3,中间特征向量3进行上采样与C3特征向量进行相加并经过一个3×3卷积层得到P3特征向量,P3特征向量进行下采样与C4层的中间特征向量进行相加并经过一个3×3卷积层得到P4特征向量,P4特征向量进行下采样与C5层的中间特征向量进行相加并经过一个3×3卷积层得到P5特征向量,P5特征向量进行下采样与C6层的中间特征向量进行相加并经过一个3×3卷积层得到P6特征向量,P6特征向量进行下采样与C7特征向量进行相加并经过一个3×3卷积层得到P7特征向量,其中P3、P4、P5、P6、P7特征向量即为双向特征金字塔子模块的输出向量;

特征提取子网络包括顺序连接的一个3×3的卷积层和16个移动翻转瓶颈卷积模块,加权双向特征金字塔子网络包括3个双向特征金字塔子模块,分类回归子网络包括2个分支,每个分支包括2个1×1共享卷积层;

第二小麦头检测模型的训练过程与第一小麦头检测模型训练过程类似,不同的是,第二小麦头检测模型的的回归损失函数采用Smooth L1 loss损失函数,如公式(3)所示:其中,Smooth L1代表回归损失函数,代表边界框的预测值,即中心点坐标与宽高,y代表真实目标框的标注坐标, 代表模型预测值与真实值之间的差值;

2)所述半监督伪标签学习策略为:多个监督模型联合学习预测边界框,首先采用第一小麦头检测模型和第二小麦头检测模型对无标签数据进行预测,得到多个模型预测框,然后采用加权框融合方法融合出具有更高置信度的预测框,作为伪标签数据,接着采用原始训练数据集以及伪标签数据集重新训练新的小麦头检测模型,不断迭代训练新模型,直到小麦头检测模型测试效果不再提升为止,将模型伪标签训练的停止条件设置为模型预测平均精度提升小于0.2%则停止训练,其中,加权框融合方法的步骤如下:

1‑2)首先创建列表B,列表B用于储存2个基于监督训练方式的模型预测的边界框,然后根据模型预测的置信度对预测框进行降序排列;

2‑2)创建列表L和列表F,列表L是一个多维列表,每一个位置储存1个或多个预测框,称为簇,对每个簇中的所有预测框进行加权融合,融合得到的边界框存储在列表F中,即列表F用于存储2个有监督模型的融合框;

3‑2)遍历列表B中的预测边界框,在存储融合框的列表F中进行“聚类”,“聚类”规则是当前预测框与融合框进行IoU值计算,两个框的IoU值大于指定阈值,则认为成功“聚类”;

4‑2)在步骤3‑2)中,如果没有成功“聚类”,即没有找到大于指定IoU阈值的融合框,则对当前预测框新建一个新簇,同时加入到列表L和列表F的尾部,如果成功“聚类”,找到大于指定IoU阈值的融合框,则将当前预测框加入到列表L,加入的位置是当前预测框在列表F中匹配到的融合框的下标位置,加入列表L后,需要根据这个簇中所有预测框来更新列表F中对应位置的融合框;

5‑2)在步骤4‑2)中,当前预测框加入到对应簇后,使用L的每一个簇中的所有边界框,假设有T个边界框,更新列表F中的融合框的置信度和坐标,其融合框的置信度和坐标的计算方式如公式(4)、公式(5)和公式(6)所示:其中,C代表模型预测框的置信度,X、Y代表预测边界框的坐标,融合框的坐标通过预测框的置信度和坐标值相乘,然后累加再除以置信度的总和得到;

6‑2)当遍历完列表B后,对列表F中每个融合框的置信度进行重新调整,调整公式如公式(7)所示: