1.一种遥感影像语义预测方法,其特征在于,包括:
S1.获取公开的语义变化检测基准数据集,所述语义变化检测基准数据集包括双时间图像;
S2.将双时间图像按比例7:2:1分成3部分;
S3.基于训练集和验证集,构建语义变化检测网络模型,语义变化检测网络模型包括全卷积神经网络编码器、双分支语义推理模块、卷积块注意力模块、跨时间语义推理模块和变化检测块;
全卷积神经网络编码器使用全卷积神经网络FCN对输入的双时间图像提取语义特征;
语义变化检测网络模型使用两个全卷积神经网络编码器提取语义特征X1和X2,两个双分支语义推理模块处理X1和X2,两个全卷积神经网络编码器和两个双分支语义推理模块的权重是共享的;
卷积块注意力模块使用通道注意力模块和空间注意力模块依次对输入的特征进行处理,分别对特征的每个通道和每个空间位置进行权重分配;
所述跨时间语义推理模块学习跨时间语义关联,增强未变化区域特征;
使用3种损失函数来训练语义变化检测网络模型:语义类损失 sem,二值变化损失 bc,语义一致性损失 sc;
语义变化检测网络模型使用了3种评估指标评估语义变化检测的精度,包括总体精度OA、均交并比mIoU、分离Kappa系数SeK;
S4.将测试集输入训练好的语义变化检测网络模型中,得到遥感影像语义预测结果;
S3中,增强未变化区域特征后得到增强的特征X1'和X2'并送往卷积块注意力模块,生成特征X1''和X2''并发送到跨时间语义推理模块得到二次增强的特征X1'''和X2''',经过分类器将X1'''和X2'''投射到语义图SM1和SM2中,变化检测块提取X1'''和X2'''中不一致的信息,经过变化检测分类器投射到二值变化图C1中,两次投射过程均通过1×1卷积层输出,权重不共享;
语义图SM1和二值变化图C1做掩膜生成语义变化图SCM1,语义图SM2和二值变化图C1做掩膜生成语义变化图SCM2。
2.根据权利要求1所述的一种遥感影像语义预测方法,其特征在于,双分支语义推理模块包括:输入一个c×h×w的特征X,其中c是通道数,h是高,w是宽,将X投射到三个向量m,n,p中,其中m∈H1×c',向量m的行数为H1,列数为c',n∈c'×H1,向量n的行数为c',列数为H1,p∈c×H1,向量p的行数为c,列数为H1,H1=h×w,c'=c/r,r为默认值是2的通道缩减因子,增强的语义特征X'的表示为X'=X+p×M,其中矩阵M的计算公式为M=Φ(m×n),Φ是softmax归一化函数;
向量m的行数=向量n的列数=向量p的列数,向量m的列数=向量n的行数。
3.根据权利要求2所述的一种遥感影像语义预测方法,其特征在于,通道注意力模块对输入特征的不同通道进行权重分配;
输入大小为C×H×W的特征图F,特征图F的通道数为C,高为H,宽为W,通过空间尺度的最大池化操作和平均池化操作进行压缩,经过池化操作后,特征图分别被压缩成两个通道数为C、高为1、宽为1的向量,将这两个向量发送给共享的多层感知器并输出,使用逐元素求和进行合并;
C
附加一个sigmoid函数分配每个通道的注意力权重,得到通道注意力图M ,获得输入特征每一个通道的权值,将这些权值乘上原输入特征图F得到改进后的特征F'。
4.根据权利要求3所述的一种遥感影像语义预测方法,其特征在于,对输入的特征图F',在每一个特征点的通道尺度上分别进行最大池化和平均池化,将最大池化和平均池化
7×7
的结果堆叠连接,用一个过滤器大小为7×7的卷积操作f 进行卷积;
S
取一个sigmoid函数生成空间注意力图M ,获得输入特征图每一个特征点位置的权值,将这个权值乘上原输入特征图F'得到改进的特征F''。
5.根据权利要求4所述的一种遥感影像语义预测方法,其特征在于,对于输入的特征X1''和X2'',跨时间语义推理模块将X1''投射到三个向量m1,n1,p1中,将X2''投射到三个向量m2,n2,p2中,其中m1,m2∈H×c',向量m1和m2的行数为H,列数为c';n1,n2∈c'×H,向量n1和n2的行数为c',列数为H;p1,p2∈c×H,向量p1和p2的行数为c,列数为H,m1和n1两个向量相乘得到矩阵M1,m2和n2两个向量相乘得到矩阵M2:向量m的行数=向量n的列数=向量p的列数=向量m1和m2的行数=向量n1和n2的列数=向量p1和p2的列数,向量m的列数=向量n的行数=向量m1和m2的列数=向量n1和n2的行数,向量p的行数=向量p1和p2的行数;
M1=Φ(m1×n1),M2=Φ(m2×n2);
生成的特征X1'''由X1'',p1,M2计算得到,X2'''由X2'',p2,M1计算得到:X1'''=X1''+p1×M2,X2'''=X2''+p2×M1。
6.如权利要求5所述的一种遥感影像语义预测方法,其特征在于,语义类损失是SM1、SM2和语义变化标签L1、L2之间的多类交叉熵损失,语义类损失计算公式为:;
式中,N1为数据集中的语义类别数,yu和pu分别表示真值标签和第u类的预测概率,没有变化的类被排除在损失计算之外;
二值变化损失网络预测的二值变化图C和参考的二值变化图Lc之间的二值交叉熵损失,其中Lc是由L1或者L2将变化区域做掩膜而生成,二值变化损失计算公式为:;
上式中,yc和pc分别表示真值标签和预测的变化概率;
语义一致性损失计算时,需关联SM1,SM2和Lc,语义一致性损失计算公式为:;
上式中,x1和x2分别为SM1和SM2上像素点的特征向量,yc是Lc上相同位置的值。
7.如权利要求6所述的一种遥感影像语义预测方法,其特征在于,OA是语义分割和变化检测任务的评估指标,将P={pij}表示为一个混淆矩阵,其中,i,j∈{0,1,...,N},0表示没有变化,N为变化的类别总数,pij表示网络预测错误的像素总数,网络预测类别为i,实际类别为j;pii表示网络预测正确的像素总数,OA的计算公式如下:;
mIoU为语义分割的标准度量,用于测量真实值和预测值之间的相关度,mIoU是无变化区域的均交并比IoUn和所有变化区域的均交并比IoUy的平均值,计算过程为:;
其中,p00表示混淆矩阵中i=0且j=0的元素,pi0表示混淆矩阵中网络预测类别为i且j=0的元素,p0j表示混淆矩阵中i=0且实际类别为0的元素;
SeK系数反映了预测值与真实值的一致性,SeK系数计算如下:;
式中,K为相乘系数,S0和Se,分别为第一计算系数和第二计算系数, 和 分别为pij和pii的估值。