1.基于深度学习的大豆豆荚考种方法,其特征在于,包括以下步骤:S1、采集不同拍摄环境下的大豆豆荚图像;
S2、根据大豆豆荚图像中每个豆荚中实粒和秕粒的个数情况进行框选分类标记建立原始图像数据集;
对图像中大豆豆荚分类具体包括如下步骤:
S2‑1、将大豆豆荚中的种粒分为实粒和秕粒;
S2‑2、根据大豆豆荚图像中每个豆荚中实粒和秕粒的个数情况对大豆豆荚进行分类,大豆豆荚类别包括全空、一粒实、一粒实一粒空、两粒实、一粒实两粒空、两粒实一粒空、三粒实的七类;
S2‑3、使用Labelimg对原始图像数据集中每一类大豆豆荚进行标注;
S3、构建融合注意力模块的改进YOLOX网络模型,将原始图像数据集输入至改进YOLOX网络模型进行训练;
训练改进YOLOX网络模型具体包括如下步骤:
S3‑1、构建融合注意力模块的改进YOLOX网络模型;
构建融合注意力模块的改进YOLOX网络模型具体如下:改进YOLOX网络模型包括主干网络CSPDarknet、加强特征提取网络FPN、Pan网络以及Head网络;
主干网络CSPDarknet对输入的大豆豆荚图像进行特征提取,提取不同尺度大豆豆荚、实粒和秕粒的特征,提取所有大豆豆荚图像相应的特征集合作为特征层,在三个特征层后分别添加SE注意力模块;SE注意力模块,用于使改进YOLOX网络模型聚焦于种粒凸出部分,降低对其他豆荚其他部分的关注度;
加强特征提取网络FPN对主干网络CSPDarknet获得的特征层加强特征提取;在主干网络CSPDarknet获得的三个特征层会在加强特征提取网络FPN实行上采样进行特征融合,在上采样后的特征层后添加SE注意力模块,用于结合不同尺度大豆豆荚以及不同种粒的特征信息,使已经获得的特征层被用于继续提取特征;
同时采用Pan网络,对特征层实行下采样进行特征融合,并在下采样后的特征层后添加SE注意力模块;
将通过主干网络CSPDarknet和加强特征提取网络FPN加强过的三个特征层传入Head网络,Head网络对特征层中的每一个特征点进行判断,最终根据每个大豆豆荚的不同特征得到每一尺度大豆豆荚的分类结果,大豆豆荚的不同特征包括每个豆荚中实粒和秕粒的个数;
S3‑2、将训练图像按照9:1划分为训练集和验证集;
S3‑3、使用步骤S3‑1中预训练好的网络权重作为初始权重,采用迁移学习的方法利用训练集进行训练;
预先训练好的权重迭代150个epoch,在训练的前50个epoch冻结骨干网络,学习率设置为1e‑4,衰减率设置为0.96;
50个epoch后,骨干网解冻,学习率设置为1e‑5,衰减率设置为0.96;
S3‑4、采用验证集验证训练后的改进YOLOX网络模型;
S4、测试改进YOLOX网络模型,更新改进YOLOX网络模型的学习参数;
S5、对改进YOLOX网络模型中大豆豆荚计数结果进行修正;
S6、利用已更新的改进YOLOX网络模型对待考种的大豆豆荚进行检测,得到各类别的大豆豆荚以及大豆豆荚实际种粒的计数结果。
2.根据权利要求1所述的基于深度学习的大豆豆荚考种方法,其特征在于,所述步骤S1中采集图像具体包括如下步骤:S1‑1、选取一批随机摆放的大豆豆荚进行图像采集用于训练;
S1‑2、选取另一批随机摆放的大豆豆荚进行测试集图像采集,建立颜色失真图像测试集、高密度豆荚图像测试集、低像素图像测试集的三种图像测试集。
3.根据权利要求2所述的基于深度学习的大豆豆荚考种方法,其特征在于,所述步骤S4中测试改进YOLOX网络模型具体如下:使用颜色失真图像测试集、高密度豆荚图像测试集、低像素图像测试集的三种图像测试集对改进YOLOX网络模型进行测试并不断优化,确定改进YOLOX网络模型的学习参数。
4.根据权利要求3所述的基于深度学习的大豆豆荚考种方法,其特征在于,所述步骤S5中对改进YOLOX网络模型中大豆豆荚计数结果进行修正,用于对存在多种特征的大豆豆荚计数结果进行修正,修正方法具体如下:将改进YOLOX网络模型检测得到大豆豆荚检测结果的坐标逐一计算IoU,IoU表示两个框重叠程度,如果IoU>0.2,则认为一个豆荚中出现多类豆荚的特征,则将检测总数减一;
公式中分子部分表示预测框与真实框的交叉部分面积大小,分母部分表示预测框并上真实框所占的面积大小。
5.应用权利要求4所述方法的基于深度学习的大豆豆荚考种系统,其特征在于,包括:采集单元,用于采集大豆豆荚图像;
采集训练集和验证集所需的大豆豆荚图像;
采集测试集所需的大豆豆荚图像,测试集大豆豆荚图像包括颜色失真图像、高密度豆荚图像、低像素图像;
处理单元,用于对大豆豆荚图像进行检测;
处理单元包括:
标记模块,用于使用Labelimg对采集单元所采集的大豆豆荚图像进行分类标注,大豆豆荚类别包括全空、一粒实、一粒实一粒空、两粒实、一粒实两粒空、两粒实一粒空、三粒实的七类;
检测模块,用于利用标记模块所标记的大豆豆荚图像训练融合注意力模块的改进YOLOX网络模型,且进行优化,确定改进YOLOX网络模型的学习参数;
修正模块,用于对大豆豆荚检测结果的坐标逐一计算IoU,若单个大豆豆荚具有多个不同类别的标记框,在计算大豆豆荚数量时将重复计算次数的大豆豆荚删除,降低大豆豆荚计数的误差;
输出单元,用于输出大豆豆荚图像中各类别的大豆豆荚以及大豆实际种粒的计数结果。
6.应用权利要求4所述方法的基于深度学习的大豆豆荚考种装置,其特征在于,包括:输入设备,用于采集待考种的大豆豆荚图像;
检测平台,用于通过融合注意力模块的改进YOLOX网络模型对待考种的大豆豆荚图像进行检测,且修正大豆豆荚检测结果;
输出设备,用于得到待考种的大豆豆荚图像检测结果,获得大豆豆荚图像中各类大豆豆荚个数、有效豆荚数、有效种粒数的表型参数。
7.一种计算机设备,其特征在于,包括存储器、处理器,所述存储器中存储有在处理器上运行的可执行程序;
所述处理器运行可执行程序时实现权利要求1‑4任一所述基于深度学习的大豆豆荚考种方法。