1.一种基于区域上下文关系模块的语义分割方法,其特征在于:该方法包括以下步骤:S1:遥感图像增强;
S2:构建RC‑Module;
S3:建立基于RC‑Module的遥感图像语义分割模型RC‑Net;
S4:MIOU检验与评价;
所述S1具体为:
S11:对图片进行随机的裁剪,生成原始数据集数量相当的额外数据集,并加入原始数据集当中,同时进行模型的训练;
S12:对数据集各个类别的特点进行图像增强方式的选择,若图像中存在草地和土地或其他类似的对颜色特征极为敏感的对象时,将色彩抖动中,颜色的抖动范围降低到0.01,分别设置图像的饱和度、色度和对比度抖动范围为0.2,生成与S11步相同数量的图像代替原有的数据集;
S13:对数据集进行随机的水平和垂直翻转,生成与S12相同数量的数据集;
S14:对数据集进行限度旋转范围为30度的随机旋转,生成与S13相同数量的数据集;
S15:在S14中每一张图像加入高斯噪声与椒盐噪声;
所述S2具体为:
语义分割的基础架构中会有一个特征提取器,即backbone,backbone由一系列的卷积和池化操作组成,图像经过backbone进行特征提取并整合为P,区域上下文模块的第一步就是在特征P的基础上生成区域粗糙区域Rsoft,其计算公式如下:其中x代表原始图像,K代表类别数量,f代表一个卷积操作,r代表对应类别的粗糙区域特征;
RC‑module在R的基础上,利用自注意力机制的理论,设计自相关模块,用于计算各个区域之间的相关性Wij:其中wij代表第j个区域对第i个区域的影响因子
同时,整合像素特征P和粗糙区域Rsoft获得各个区域的特征featuresoft‑region:(featuresoft‑region)i=unsqueeze(‑1)(R_T(Rsoft)*RT(P)))i,i∈(0,K)其中unsqueeze代表在指定位置新增一个维度,R_T是reshape and transpose的缩写;
featuresoft‑region是一个N*C*K*1的特征图,N代表图片数量,C代表特征通道数,K代表区域数量;
将各区域的相关性Wij作为权重对原来的粗糙区域特征featuresoft‑region进行区域相关性的特征增强,获得增强了区域上下文特征的区域特征feature_R:featur_R=W*featuresoft‑regionRC‑Module使用注意力机制的思想,设计了区域上下文学习模块,增强的区域上下文特征的区域特征与像素级特征相结合,形成特征的整合feature_region:
1 2
featureregion=R_T(R_T(P)*R_T(feature_R))采取skip链接方法,将特征整合的特征与pixel特征链接获得经过RC‑Module的增强特征F,最后的区域上下文模块计算公式为:F=cat(feature_region||P)所述S3具体为:
DeeplabV3是多尺度模型,通过ASPP结构,以多个不同空洞卷积率的方法初步整合图像的多尺度特征,采用ParseNet的方法,在全局上使用适应性全局池化,获得全局的信息,Deeplabv3模型是考虑多尺度和一定全局上下文关系的有效模型,采用DeeplabV3作为模型的特征提取器‑Backbone,其中ASpp的特征计算公式为:其中Yi代表ASPP模块的输出,F代表根据不同的d进行的不同的卷积操作,D是一个空洞率集合,ASPP通过集合不同大小空洞率的信息从而达到考虑多尺度信息的目的,D为1、6、12和18;
当图像经过特征提取器Deeplabv3的整合后,再接收到RC‑Module中进行特征的上下文关系整合,最后通过一个Decoder得到预测结果;
Decoder由两个3x3的深度可分离卷积和一个1x1的普通卷积构成,利用深度可分离卷积的特性,减少普通decoder的计算复杂度;其中普通卷积层的参数计算如下:P=K*2xCin*cout
其中P代表总的参数量,K代表卷积核大小,使用正方形的卷积核;C代表图像的维度;
深度可分离卷积的参数计算公式如下:
P=K*2xCin+Cin*Cout
所述S4具体为:
均交并比Miou的计算公式如下:
其中pij表示真实值为i,被预测为j的数量,K+1是类别个数,包含空类;pii是真正的数量;pij、pji则分别表示假正和假负。