1.一种农业害虫智能识别与监测技术,其特征在于:包括以下步骤:S1、利用公开知识图谱和私有数据构建多模态农业病虫害知识图谱;
S2、收集多类别害虫图片作为训练数据,并对数据进行预处理;
S3、利用训练数据训练一个卷积视觉模型和一个视觉注意力模型,然后将训练完成的模型保存,冻结模型后,使用融合模块融合两个模型;
利用融合模块将swintransformer和convnext两种不同采集特点的视觉模型对最后一层特征进行输出特征的融合,组成一种视觉模型架构;
训练卷积视觉模型和视觉注意力模型的过程包括以下步骤:(1)、对输入数据采取预处理,并对输入数据采用图片融合数据增强策略,同时保留原始数据的分布,公式为:其中 , ,..., 为图片, , ,..., 为混合比例, , ,..., 的值在0到1之间 为新生成图片;
(2)、分别使用训练好的swin transformer和convnext;将这两种方法的输出向量拼接起来,并将结果输入到融合模块中;
(3)、在融合模块中拼接向量将进行两次融合,每次融合将经历一次下采样和两个输入输出相同的线形层,公式为:为单个线形层公式, 为单次融合的公式;
以及输入dropout层,增强模型鲁棒性公式为:
为dropout层的输出;
最后输入一个GELU层,增加模型的非线性因素,公式为:每次融合间加入残差设计,防止模型的过拟合公式为:
融合模块一大优势在于可解耦并且可以融合更多的特征来源提升准确率,多特征融合能力的公式表示:其中 为多个主干网络的输出向量;
(4)、对于训练的正则化策略,采用EMA和标签平滑,使用Adam作为优化器;
S4、利用多模态知识图谱推理出输入害虫图片的相关粗粒度的属性特征,利用编码器对推理的属性特征进行编码;
S5、利用融合模块对知识图谱输出特征编码和视觉模型的特征输出融合后利用unet模型进行虫害识别。
2.如权利要求1所述的一种农业害虫智能识别与监测技术,其特征在于:步骤S3中利用多层神经网络的强表示能力,设计多层残差神经网络融合模块来融合两种方法提取的特征。
3.如权利要求2所述的一种农业害虫智能识别与监测技术,其特征在于:步骤S3中融合模块有7个线性层,由两个降采样层组成,维数减半,两个特征合并模块和一个分类层组成,每个特征合并模块由两个线性层组成,维数不变。
4.如权利要求3所述的一种农业害虫智能识别与监测技术,其特征在于:融合模块使用GELU作为激活函数,为了防止过拟合,提高收敛速度,需要在每个特征合并模块中添加了残差连接和drop out层。
5.如权利要求1所述的一种农业害虫智能识别与监测技术,其特征在于:步骤S4中利用多模态知识图谱将图片输入后进行推理,通过图谱推理出粗粒度属性,随后利用编码器将属性转化为向量。
6.如权利要求5所述的一种农业害虫智能识别与监测技术,其特征在于:融合图谱编码时,属性和视觉模型输出特征通过融合模块进行特征融合,最后利用unet对融合特征做解码完成检测。