1.一种基于深度学习的水产实时尺寸检测方法,其特征在于,包括以下步骤:
步骤1:获取真实场景下的水产图像,建立数据集,并且对这些数据进行标注,标注内容包括分类标注和分割标注;通过分层抽样的方法将水产数据集划分为训练集、验证集和测试集;
步骤2:图像预处理及数据增强;
步骤3:构建水产实时分割分类模型,分割分类模型由特征提取模块、分割解码模块和分类解码模块构成;
步骤4:设计分割分类模型的评价指标,在分割解码模块的输出中,采用平均交并比作为分割精度评价指标,在分类解码模块的输出中,分类效果评价指标为F1 score,推理速度评价指标为FPS;
步骤5:设计分割分类模型的损失函数,并以该损失函数作为分割分类模型训练时优化的目标函数;分割分类模型共有分割和分类两个输出,故训练的损失函数需要同时考虑分割和分类,使用Dice函数作为分割输出的损失函数Lseg,使用交叉熵损失函数作为分类输出的损失函数Lclas,分割分类模型总的损失函数为Ltotal,其形式为:Ltotal=βLclas+Lseg,β为分类损失和分割损失在总损失函数中的权重参数;
步骤6:使用训练集和验证集进行分割分类模型训练;
步骤7:得到最后的训练好的分割分类模型,再用测试集对分割分类模型进行测试,最终确定需要的分割分类模型;
步骤8:将分割分类模型分割结果通过相机的内参矩阵和外参矩阵从像素平面坐标系映射到实际工作的世界坐标系,获得目标的物理世界真实尺寸;
步骤9:利用OpenVINO工具进行分割分类模型量化、计算合并,提高卷积网络的运行性能,同时推理时使用异步推理操作,并行计算,提高运行速度。
2.根据权利要求1所述的一种基于深度学习的水产实时尺寸检测方法,其特征在于,在所述步骤2中,对输入图像的预处理操作为归一化和标准化,归一化是将图像像素值归一化到区间[0,1],标准化是通过计算数据集的均值和方差,对所有像素点进行标准化操作;
数据增强操作包括:第一,随机缩放裁剪,具体来说,先利用随机数生成函数随机生成一个0.5‑1.5之间实数f,再将图像缩放到原来的f倍,最后再随机裁剪出一个640×480的图像用于训练;第二,对图像采用了随机左右翻转、随机亮度对比度变化和随机旋转一定角度的方法。
3.根据权利要求1所述的一种基于深度学习的水产实时尺寸检测方法,其特征在于,在所述步骤3中,在特征提取模块中,使用并行双分支结构,同时使用两种不同分辨率的分支进行特征提取,保留图像的高层空间细节和低层语义特征,并行分支之间通过上采样和下采样操作进行了两次特征交互融合,特征提取模块由两种基础模块组成:残差模块:由三条分支构成,第一条分支为SE模块,SE模块能够解决卷积过程中特征层的不同通道所占的重要性不同带来的损失问题,这里使用的是SE模块的一种变体,首先对输入的每个通道进行全局平均池化操作,然后使用一个具有非线性的全连接层,最后使用一个Sigmoid激活函数生成通道权值;第二条分支为主分支,模块的输入首先经过一个通道分离操作,将原始输入按照通道数分为两组,这样将卷积运算限制在每个组内,能够降低计算模型的计算量,同时,因为基础模块的输出通道数是输入通道数的两倍,当输入通道数和输出通道数的值接近1:1时,能减少内存访问成本;当输入经过通道分离操作分成两组后,其中一组输入到一个3×3的深度卷积,另一组输入到一个3×3的普通卷积,同时在每一个卷积后面都加上批归一化层和ReLU激活函数,深度卷积能够降低参数量,但缺少通道间的信息交互,普通卷积参数量较大,通道间有着信息交流,两者组合在一起,在参数量和信息交互中做了平衡,然后将两组输出按照通道顺序上连接在一起;第三条分支为跳跃连接,用于解决网络层数较深的情况下梯度消失的问题,同时有助于梯度的反向传播,加快训练过程;最后,将三个分支的输出叠加起来,并引入组间信息交换的机制,即通道混洗操作,同时通道混洗操作是可导的,可以实现端到端一次性训练网络;
下采样模块:当特征图的大小变为原来的1/2时,都会串联一个下采样模块,下采样模块由两个部分组成,分别是最大池化层和步长为2的3×3卷积层,并将最大池化层和卷积层的输出叠加后串联批归一化和Relu激活函数。
4.根据权利要求1所述的一种基于深度学习的水产实时尺寸检测方法,其特征在于,在所述步骤3中,在分割解码模块中,进行多尺度融合的操作,具体而言,对32倍下采样的特征图进行上采样操作,变换为尺度与8倍下采样的特征图相同的尺度,并添加3×3卷积、批归一化和Relu激活函数,与8倍下采样的特征图进行通道方向的连接,进行同样的操作变换到4倍下采样的特征图,就完成了多尺度融合的操作,最后再添加3×3卷积和上采样的分割头部,就得到了与原图大小一致的特征图。
5.根据权利要求1所述的一种基于深度学习的水产实时尺寸检测方法,其特征在于,在所述步骤3中,在分类解码模块中,分类解码模块由全局平均池化层构成,在编码层的并行结构的高分辨率分支后,连接一个1×1卷积层、批归一化层和Relu激活函数,再连接一个最大池化层,得到最后的分类输出。
6.根据权利要求1所述的一种基于深度学习的水产实时尺寸检测方法,其特征在于,在所述步骤4中,采用平均交并比作为分割精度评价指标,定义如下:其中,pij表示真实值为i、被预测为j的数量,pii表示真实值为i、预测值为i的数量,pji表示真实值为j、预测值为i的数量;k+1是类别个数,包含背景类,当mIoU接近1时候,预测值越逼近真实值;
分类效果评价指标为F1 score,定义如下:
其中,TP为真阳性,FP表示假阳性,FN表示假阴性;
推理速度评价指标为FPS,定义如下:
其中Time为单张图片的推理时间。7.根据权利要求1所述的一种基于深度学习的水产实时尺寸检测方法,其特征在于,在所述步骤5中,分割部分的损失函数定义如下:其中,qi代表真实值,pi代表网络的预测值,v代表每个图像块的体素点的个数;
分类部分的损失函数定义如下:
其中,ni为样本标签,mi为预测输出。
8.根据权利要求1所述的一种基于深度学习的水产实时尺寸检测方法,其特征在于,在所述步骤6中,使用训练集和验证集进行训练,利用深度学习的方法训练一个多任务的分割分类模型,所述的多任务的分割分类模型具有两条支路,包括分割支路和分类支路,在训练的过程中,分割支路由一个Dice损失函数Lseg进行监督训练;分类支路由交叉熵损失Lclas进行监督训练;同时,由于分割分类模型的初始训练阶段收敛方向不稳定,为了减缓分割分类模型在初始阶段提前过拟合现象,保持分布的平稳,同时保持分割分类模型深层的稳定性,使用warm‑up学习率策略进行分割分类模型的训练;训练完成后,查看验证集上的多任务的分割分类模型的性能,若训练的分割分类模型的评价指标不能满足需求,则调整分割分类模型超参数,继续训练,直到满足要求。
9.根据权利要求1所述的一种基于深度学习的水产实时尺寸检测方法,其特征在于,在所述步骤8中,图像坐标到世界坐标的转换公式如下:其中,(u,v)为像素平面坐标系上点的坐标,(Xc,Yc,Zc)为世界坐标系的坐标,fx,fy表示感光芯片上像素的实际大小,是连接像素坐标系和真实尺寸坐标系的,u0,v0是图像平面中心,R和T为相机外参,由张正友标定法获得,0T为(0,0,0)。