1.一种基于类激活图的半监督遥感影像目标检测和分割方法,其特征在于,包括以下步骤:
步骤1:给定原始遥感影像以及部分原始遥感影像所对应的标注标签,利用已有的遥感影像标注数据,生成分类标注数据并进行数据增强;
步骤2:使用步骤1中的分类标注数据,训练一个采用全局平均池化GAP的分类卷积神经网络模型;
步骤3:使用步骤2中训练好的卷积神经网络模型,通过计算每个类别权重与该类对应的特征图的加权和,构造出可以为每个类别产生类激活图CAM的卷积神经网络模型;
步骤4:对原始遥感影像及其对应的标注标签进行缩放、旋转等数据增强,生成可以输入到目标检测和分割模型的训练集和测试集;
步骤5:使用步骤3中的卷积神经网络模型生成的类激活图作为目标检测和分割的训练目标,对目标检测和分割模型进行无监督训练;
步骤6:使用步骤4中的具有真实标注的训练集对目标检测和分割模型进行监督训练;
步骤7:重复步骤5‑6,直至在步骤4中的测试集上训练模型损失函数达到收敛状态;
步骤8:从步骤7中得到具有较高检测和分割精度的遥感影像目标检测和分割模型,将待检测的遥感影像输入到该模型,即可输出得到对应遥感影像的检测和分割结果;
所述步骤2:使用步骤1中的分类标注数据,训练一个采用全局平均池化GAP的分类卷积神经网络模型,具体为:
在最后一个卷积层之后,使用全局平均池化GAP替代全连接层,构造出分类卷积神经网络模型,以最小化预测值与标注标签之间的损失函数为优化目标,直至模型收敛,保存测试集分类准确率最好模型的权重,使用随机梯度下降SGD优化算法来更新模型的权重,其中交叉熵函数为:
其中c为分类类别,p为该类别的真实标签值,q为该类别的预测值;
所述步骤3:从步骤2训练好的分类卷积神经网络模型中,提取出全局平均池化层GAP之后的权重及其对应的特征图,利用特征图权重叠加的原理,获得类激活图,具体表达式为:其中c为分类类别,i为全局平均池化层的各个通道,n为所有通道数, 为通道对应的i
类别权重,A为通道i对应特征图, 即为目标的类激活图;
所述步骤5:使用步骤3中的卷积神经网络模型生成的类激活图作为目标检测和分割的训练目标,对目标检测和分割模型进行无监督训练;具体为:采用全卷积网络FCN的深度卷积神经网络YOLACT作为目标检测和分割模型,将经过数据增强的无标注遥感影像同时输入到目标检测和分割模型与步骤3中的卷积神经网络模型中,并利用后者输出的类激活图作为训练目标,对目标检测和分割模型进行无监督训练:以最小化预测值与类激活图之间的损失函数为优化目标,使用随机梯度下降SGD优化算法来更新目标检测和分割模型的权重;损失函数由目标检测损失函数和分割损失函数构成,其中目标检测损失函数采用交并比IoU:其中boxCAM为步骤3中类激活图 中对应的目标框区域,boxpre为目标检测和分割模型的预测目标框区域,Intersection为交集,Union为并集;
分割损失函数为像素级二元交叉熵BCE:其中lCAM为步骤3中类激活图 的像素值,为目标检测和分割模型的像素预测值;
所述步骤6:使用步骤4中的具有真实标注的训练集对目标检测和分割模型进行监督训练,具体为:
将经过数据增强的有标注数据同时输入到目标检测和分割模型,使用步骤4中的训练集真实标注作为训练目标,对模型进行监督训练:以最小化预测值与真实标注标签之间的损失函数为优化目标,使用随机梯度下降SGD优化算法来更新目标检测和分割模型的权重;
损失函数由目标检测损失函数和分割损失函数构成,其中目标检测损失函数采用交并比IoU:
其中boxgt为步骤4中训练集真实标签的目标框区域,boxpre为目标检测和分割模型的预测目标框区域,Intersection为交集,Union为并集;
分割损失函数为像素级二元交叉熵BCE:其中y为步骤4中训练集的真实标注像素值,为目标检测和分割模型的像素预测值。
2.根据权利要求1所述的一种基于类激活图的半监督遥感影像目标检测和分割方法,其特征在于,所述步骤1:利用给定的遥感影像标注数据,生成分类标注数据并进行数据增强,具体为:从每张具有标注的图像中分割出每个实例的图像,据此生成不同类别的分类标注图像数据集,并对数据集中的图像进行缩放、旋转、裁剪等数据增强方法,丰富分类的训练集和测试集。
3.根据权利要求1所述的一种基于类激活图的半监督遥感影像目标检测和分割方法,其特征在于,所述步骤8:从步骤7中得到具有较高检测和分割精度的遥感影像目标检测和分割模型;具体为:
根据在步骤4中的测试集上的检测和分割精度指标:交并比IoU和各类别平均精确度AP的平均值mAP,从步骤7的训练迭代中得到,在仅使用部分数据标注训练的情况下,具有良好检测和分割精度的目标检测和分割模型;最后,将待检测的遥感影像输入到该模型,即可输出得到对应遥感影像的检测和分割结果。