1.一种基于多任务CNN+GCN的遥感影像建筑物语义分割边缘优化方法,其特征在于:包括以下步骤:
S1、构建遥感影像建筑物样本集;
S2、利用所述建筑物样本集,以ResNet和GCN为骨架构建多任务CNN+GCN语义分割模型;
S3、对步骤S2中由ResNet提取得到的建筑物的高级语义特征,将其分辨率重新映射回所述原始影像,并进行建筑物边缘提取和初次建筑物语义分割,分别得到建筑物边缘提取概率图和初次建筑物语义分割结果;
S4、将步骤S3输出的所述建筑物边缘提取概率图与步骤S2输出的建筑物的高级语义特征进行特征整合,对基于边缘约束的建筑物特征进行语义分割,得到基于边缘约束的建筑物语义分割结果;
S5、采用图特征自适应优化模块促使步骤S1输出的GCN推理特征对步骤S4输出的所述基于边缘约束的建筑物语义分割结果进行优化,输出边缘表现优异的建筑物语义分割结果;
S6、采用后向传播和随机梯度下降算法,利用步骤S3、S4和S5输出的三次建筑物语义分割结果和建筑物边缘提取概率图对所述多任务CNN+GCN语义分割模型进行训练,进而得到训练好的多任务CNN+GCN语义分割模型,将实际建筑物的遥感影像输入该训练好的多任务CNN+GCN语义分割模型即可得到更为优化的该实际建筑物边缘语义分割结果。
2.如权利要求1所述的一种基于多任务CNN+GCN的遥感影像建筑物语义分割边缘优化方法,其特征在于:步骤S1中,构建所述遥感影像建筑物样本集的具体步骤如下:S11、将原始建筑物矢量栅格转化为二值化的建筑物语义标签图像,并将遥感影像范围调整到与二值图像相同;
S12、对建筑物二值图像标签进行轮廓提取,得到建筑物边缘二值图像标签;
S13、以预设尺寸和预设步长的窗口在遥感影像、建筑物语义标签图像和建筑物边缘标签图像同时滑动,并统计窗口内像素点,以像素点个数来标记建筑物的比例,若该比例大于预设比例值则进行影像裁剪工作;
S14、裁剪工作完成后,按照7:3的比例将样本集划分为训练集与测试集,70%的数据用于训练,30%的数据用于测试训练后的性能。
3.如权利要求1所述的一种基于多任务CNN+GCN的遥感影像建筑物语义分割边缘优化方法,其特征在于:ResNet提取得到建筑物的高级语义特征是采用一系列的卷积和池化操作来实现的,将其分辨率重新映射回所述原始影像是采用若干次上采样、横向连接及卷积操作来实现的。
4.如权利要求1所述的一种基于多任务CNN+GCN的遥感影像建筑物语义分割边缘优化方法,其特征在于:步骤S4中,基于边缘约束的建筑物语义分割的过程如下,设CNN深层特征图为CF、建筑物边缘提取概率图为BP,以CF×(1+BP)的方式,用边缘信息对深层语义特征进行整合约束,进而采用全卷积网络完成基于边缘约束的建筑物语义分割,该过程由建筑物语义标签监督学习得到。
5.如权利要求1所述的一种基于多任务CNN+GCN的遥感影像建筑物语义分割边缘优化方法,其特征在于:步骤S2中,利用GCN通过常规图卷积操作对所述建筑物的原始影像进行图推理,其数学表达式为:
(l+1) (l) (l)
H =σ(AH w )
(l+1) (l)
其中,A是代表像素点空间位置及相互潜在关系的邻接矩阵,H 和H 是第l层和第l+(l) 0
1层的顶点特征,w 是第l层可学习的训练权重,σ为非线性激活函数,当l=0时,H为输入的遥感影像进行维度变换后的二维图结构,其维度为(m×m)×n,m×m为窗口的预设尺寸,n为输入影像通道,m和n均为正整数。
6.如权利要求4所述的一种基于多任务CNN+GCN的遥感影像建筑物语义分割边缘优化方法,其特征在于:以任何拉普拉斯矩阵都能对角化为基本原理,通过卷积及矩阵运算快速地构建邻接矩阵A,其数学表达式为:T
A=φ(BP)diag(ρ(BP))φ(BP)其中,BP为建筑物边缘提取概率图,φ(·)采用常规卷积操作,用于维度变化,ρ(·)为T
自适应池化,diag(·)为对角化操作,(·) 为矩阵转置操作,通过矩阵运算的乘法结合律省略了庞大的中间结果邻接矩阵A的存储,降低了显存开销,保证了网络效率,实现了GCN在高分辨率原始影像上快速推理的过程,其数学表达式为:
7.如权利要求1所述的一种基于多任务CNN+GCN的遥感影像建筑物语义分割边缘优化方法,其特征在于:步骤S5中,所述图特征自适应优化模块是通过增强空间细节特征来优化CNN建筑物语义分割结果的,该图特征自适应优化模块以基于边缘约束的建筑物语义分割结果和GCN特征的级联特征为输入,通过常规卷积操作生成一个空间局部细节丰富的注意力图,并依据此注意力图使得GCN特征对基于边缘约束的建筑物语义分割结果进行优化,其数学表达式为:
Seg3=δ(Seg2+δ(Concat(GF,Seg2))*GF)其中,Seg3为建筑物语义分割优化结果,Seg2为基于边缘约束的建筑物语义分割结果,GF为GCN特征,δ(·)为常规卷积操作,Concat(·)为特征级联。
8.如权利要求1所述的一种基于多任务CNN+GCN的遥感影像建筑物语义分割边缘优化方法,其特征在于:步骤S6中,在训练过程中,利用损失函数计算多任务CNN+GCN语义分割模型的损失值Loss,具体的数学公式为:其中, 为第i次语义分割结果与地表真实类别差异的损失,其具体的数学公式为:其中,n表示样本序号,segn,i表示语义分割结果中像素是否为建筑物的预测概率,segn,1表示初次建筑物语义分割结果,segn,2为基于边缘约束的建筑物语义分割结果,segn,3表示基于GCN边缘优化的建筑物语义分割结果, 表示与其对应的真值,存在建筑物为
1,不存在建筑物为0;
Ledge为建筑物边缘检测结果与建筑物真实边缘差异的损失,其具体的数学公式为:其中,n表示样本序号,BPn表示边缘检测中像素是否为建筑物边缘的概率, 表示与其对应的真值,是建筑物边缘为1,不是建筑物边缘为0。
9.如权利要求8所述的一种基于多任务CNN+GCN的遥感影像建筑物语义分割边缘优化方法,其特征在于:对损失函数应用梯度下降算法,当损失值Loss趋近于收敛时,所述多任务CNN+GCN语义分割模型训练完毕。
10.如权利要求1所述的一种基于多任务CNN+GCN的遥感影像建筑物语义分割边缘优化方法,其特征在于:步骤S6中,训练过程中,还需根据试验情况对包括正负样本比例、学习率、批次大小以及权值衰减系数超参数进行调试。