1.一种基于深度神经网络的甘蔗幼苗自动识别与计数方法,其特征在于,包括以下步骤:
S1、数据采集:使用无人机采集甘蔗出苗后的冠层可见光图像,作为输入的原始图像;
S2、图像预处理:对基于图像自适应对比度增强处理后的图像进行图像裁剪;
S3、制作数据集:从采集的所述原始图像中随机挑选出若干图像用于训练和验证,并且训练和验证的图像不存在交集,将所述若干图像经过预处理后进一步筛选出包含一株完整甘蔗幼苗且没有模糊失真的图像块,并将其中2/3 6/7的图像块用于训练,获得训练集,挑~
选出所述图像中剩余图像块用于评估模型检测精度;
S4、搭建卷积神经网络结构:更换特征提取网络,在更换后的特征提取网络层嵌入注意力模块SN‑Block,输出特征图后进行多尺度特征融合,筛选出置信度高的候选框作为目标候选框,输入到后续的模型中进行精确分类和定位;
S5、对改进的神经网络模型进行训练:基于S4中搭建的神经网络结构,构建改进的神经网络模型,将所述训练集输入到所述改进的神经网络模型中训练,利用所述特征提取网络提取图像中目标的特征,生成的特征图被后续候选区域网络RPN与检测网络Fast R‑CNN共享;
S6、模型精度评估及选择:将制作的验证集输入保存的改进的神经网络模型进行检测,利用性能评估指标评价不同神经网络模型的检测精度;
S7、对大尺寸航拍检测结果进行拼接与去重,得到对所述原始图像的全图甘蔗苗的检测与计数结果。
2.根据权利要求1所述的基于深度神经网络的甘蔗幼苗自动识别与计数方法,其特征在于,S1中,所述无人机的飞行高度设为10 20m,速度设为2 4m/s。
~ ~
3.根据权利要求1所述的基于深度神经网络的甘蔗幼苗自动识别与计数方法,其特征在于,S2中,所述图像自适应对比增强的具体步骤包括:通过自适应对比增强的方法增加输入图像中植株与土壤背景的对比度,先通过低通滤波获得图像的低频分量,然后通过所述原始图像减去低频分量得到表征图像边缘和细节的高频分量,最后将所述高频分量乘以一个增益值,重组所述低频分量和高频分量,得到增强后的图像。
4.根据权利要求1所述的基于深度神经网络的甘蔗幼苗自动识别与计数方法,其特征在于,S2中,所述图像裁剪的具体方法为:将经过图像增强处理后准备用于模型训练和验证的图像裁剪为相同尺寸的子图像块,采用网格的方式裁剪,然后筛选出图像中包含至少一株完整甘蔗苗且未出现画面失真的图片作为制作训练集和验证集。
5.根据权利要求4所述的基于深度神经网络的甘蔗幼苗自动识别与计数方法,其特征在于,所述子图像块的最大边长不超过1024像素。
6.根据权利要求1所述的基于深度神经网络的甘蔗幼苗自动识别与计数方法,其特征在于,S4中,所述搭建卷积神经网络结构的具体步骤为:S4.1、更换特征提取网络:将原始网络使用的VGG16网络替换为ResNet50网络,将输入网络的尺寸设置为640×640,输入尺寸要求能被2的6次方整除,子图像尺寸不足640×640的,使用0对子图边缘进行填充以调整为输入尺寸,子图像块尺寸不满足1024的,则使用等比例缩放的方式调整输入图像的尺寸到指定的输入尺寸,将所述图像输入特征提取层后,所述ResNet50网络采用不同数量的卷积层组合、批量归一化层、ReLU激活层和最大池化层组成的五个阶段进行特征提取;
S4.2、在特征提取网络层嵌入注意力模块SN‑Block,输入的图像经过特征提取层以后先进行特征提取,得到形状为H×W×C的特征图,将其输入所述SN‑Block模块,然后依次使用3×3卷积、1×1卷积、3×3卷积,在每一次卷积后使用ReLu函数激活;
S4.3、将FPN结构融合到所述Fast R‑CNN中,完成所述神经网络的搭建。
7.根据权利要求1所述的基于深度神经网络的甘蔗幼苗自动识别与计数方法,其特征在于,S5中,所述改进的神经网络模型训练的具体过程包括:首先将所述训练集输入到所述改进的神经网络模型中训练,并且对所述原始图像的长边和短边进行限制,利用所述特征提取网络提取图像中目标的特征,生成的特征图被后续候选区域网络RPN与检测网络Fast R‑CNN共享;
然后将提取的特征图输入金字塔网络FPN,利用所述FPN融合最终层和中间层多个尺度的特征,再将融合后的特征输入RPN网络;所述特征图上的每个点对应输入图像上一个位置,接着在每个所述位置生成若干个不同形状的先验框anchor,利用滑窗策略生成大量的anchor,最后通过softmax分类器执行二分类任务,每个锚点会被判断是属于前景还是背景,通过边界框回归修正前景anchor的中心坐标与长宽,得到候选框位置;
使用非极大值抑制算法NMS去除冗余候选框,将得分高的候选框作为感兴趣区域ROI。
8.根据权利要求7所述的基于深度神经网络的甘蔗幼苗自动识别与计数方法,其特征在于,所述使用非极大值抑制算法NMS去除冗余候选框的具体方法为:第一步:构造一个集合C来存储所有N个边界框,这些边界框按置信度scores的值排序;
构造一个集合O来存储保留的边界框,并将其初始化为空集;
第二步:从所述集合C中选择最高置信度的边界框,表示为B,并将其移动到所述集合O;
第三步:计算Ci的区域面积和B的区域面积之间的IoU重叠度,其中Ci是C中的候选边界框,i=1,2,…,|C|;按照设置的所述IoU的阈值进行过滤,与B的区域面积存在IoU重叠且大于阈值λ的边界框Ci视为B的冗余边界框;
第四步:从C中删除所有冗余的边界框;
第五步:重复第二步到第四步,直到集合C为空,得到所述集合O中的边界框。
9.根据权利要求7所述的基于深度神经网络的甘蔗幼苗自动识别与计数方法,其特征在于,所述感兴趣区域ROI经过池化后将所有区域特征图尺寸固定为7×7,然后在所述Fast R‑CNN中对候选区域进行检测,综合特征图与候选框信息,通过全连接层与所述softmax分类器计算每个候选框识别为甘蔗苗的概率,判断前景所属类别,同时利用多任务损失边界框回归算法修正目标候选框的位置,生成最终检测框边界的精确坐标。
10.根据权利要求1所述的基于深度神经网络的甘蔗幼苗自动识别与计数方法,其特征在于,S6中,所述模型精度评估及选择的步骤如下:首先将制作的验证集输入保存的模型进行检测,利用性能评估指标评价不同模型的检测精度,选择平均精度最高的模型作为检测模型。