1.一种基于多模态的花生叶斑病病害等级检测方法,其特征在于,所述方法包括以下步骤:S1:采用K‑means方法构建数据集,对采集的花生叶斑病原始数据进行分组,并训练所需的数据集;
S2:基于训练的数据集,对花生叶斑病的RGB图像和光谱数据进行预处理;
S3:将预处理后的RGB图像和光谱数据分别输入至花生叶斑病多模态检测模型的Resnet101网络和改进的1D‑CNN网络中进行特征提取,再通过特征融合模块将提取的特征进行融合,并输出花生叶斑病病害等级结果;
S4:选择评价指标对花生叶斑病病害等级结果进行评价,完成花生叶斑病的等级检测;
S1中包括以下分步骤:
S1‑1:将花生叶斑病原始数据的病害程度分为四级,其中,0级代表无病,3级代表病害最严重,1级和2级介于0级和3级之间;
S1‑2:根据叶片的RGB图像颜色分布,采用K‑means方法对叶片的病害程度进行具体区分,利用二次拟合的相关系数,将病变样本图片通过聚类的方式分为三组,建立由三个K‑means方法分类得到的病叶组数据和一个原始正常叶组数据组合的四级花生叶斑病感染等级的数据集;
S1‑3:将数据集按8:1:1的比例随机分配至训练集、验证集和测试集中;
S2中采用数据增强和扩展的方法获取花生叶斑的光谱反射率数据,并采用主成分分析方法对光谱反射率数据进行降维处理,采用PCA方法将光谱波段从2151个降维到200个,获得高光谱波段数据,完成花生叶斑病的光谱数据预处理;
S2中对花生叶斑病RGB图像进行图像旋转和大小变换的操作,将大小调整为224×224像素,完成花生叶斑病的RGB图像预处理;
S3中包括以下分步骤:
S3‑1:将预处理后的花生叶斑病的RGB图像输入Resnet101网络进行特征提取,获得RGB图像的特征信息;
S3‑2:将预处理后的花生叶斑病的高光谱波段数据输入改进的1D‑CNN网络进行特征提取,所述改进的1D‑CNN网络包括3×3 1D‑Conv模块和1×1 1D‑pooling模块,对输入的高光谱波段数据进行多次3×3一维卷积网络操作和1×1一维池化操作,获得高光谱波段数据的特征信息;
S3‑3:选择7:3的比例将RGB图像的特征信息和高光谱波段数据的特征信息进行特征融合,并建立一个连接层,输入7:3的融合特征,检测花生叶斑病的感染水平。
2.根据权利要求1所述的基于多模态的花生叶斑病病害等级检测方法,其特征在于,所述S4中评价指标包括准确率 、召回率 、精确度 和综合指标F1_score,具体包括以下公式:其中, 为正确检测到花生叶斑病的相应分类感染等级, 为正确检测到花生叶斑病的其他分类感染等级, 为错误检测到花生叶斑病的其他分类感染等级, 为错误检测到花生叶斑病的相应分类感染等级;
其中, 为综合指标F1_score;
为了拟合真实值与预测值之间的差距,采用如下公式作为多模态特征融合的损失函数:其中, 为相应感染等级的真值, 为算法对相应感染等级的预测概率值,为花生叶斑感染等级的总数,为花生叶斑感染等级的取值。