欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020100993700
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-12-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于纹理特征的高分辨率影像地物识别与分割方法,包括以下步骤:步骤1,根据类别体系制作样本集;

根据研究目标,确定研究区的地物分类体系,假设研究区n个不同的类别CL:CL={cl1,cl2,...,cln}       (1)根据上述类别体系制作样本集,样本包含所有类别的正样本;

样本以多边形方式表示该类型地物所在区域,并使用cli∈CL标识其类别;

样本数目需要满足训练要求,如果样本数目不足,则进行样本增强,以提高样本数量;

步骤2,构造深度学习网络模型;

将网络模型分为四个部分:第一部分为骨干网络,用于提取图像的基础特征;第二部分为纹理特征提取结构;第三部分为特征矩阵去噪结构;第四部分为上采样结构,将去噪后的特征矩阵上采样到原图像大小并获得图像类别及其分割结果;

步骤2.1,构造骨干网络;

提取图像的基础特征,基于ResNet构造骨干网络;

ResNet由五个卷积模块组成,第一个模块中使用了一次步长为2的卷积核,输出的特征图尺寸为原图像的1/2;第二个模块中使用了一次步长为2的池化层,输出的特征图尺寸为原图像的1/4;第三模块到第五个模块中都使用了一次步长为2的卷积核,最终输出的特征图尺寸为原图像的1/32;

可以看出:由于ResNet输出特征图的尺寸为原图像的1/32,导致小地物的纹理信息损失严重;对此,本发明取消了ResNet最后一个卷积模块,并在第三和第四卷积模块中使用膨胀卷积,可以在保证卷积核感受野的情况下,减少下采样倍数,极大化地保留小目标的纹理特征;

使用改进的ResNet骨干网络获取图像的基础特征矩阵F:F={f1,f2,...,fC}      (2)其中,C表示特征的维数,特征的大小记为H′×W′;

步骤2.2,构造纹理特征提取结构;

在步骤2.1获得的特征矩阵F中,任意位置有C维特征值,该特征值由不同卷积核卷积该位置局部区域的像素得到,可以视为该点的特征向量,由此将特征矩阵F映射为t个C维的特征向量:X={x1,x2,...,xt}       (3)通过泛化词包模型思想,来表示纹理;

假设有一个含K个码字纹理特征词典D:

D={d1,d2,...,dK}       (4)其中,码字dk与特征向量xi具有相同维度;该特征词典用于从xi中学习出典型纹理中心特征;

传统方法中的字典是构建之后就保持不变,不能从数据中学习并调整;与传统方法不同的是,该字典D嵌入到深度学习模型之中,通过监督学习方式对不同纹理特征进行学习并调整,从而优化字典对纹理特征的表达能力;

字典D的初始化使用均匀分布随机初始化,分布区间为接下来构建码字dk与特征向量xi之间的关系模型eik,使得字典D可以在反向传播时通过梯度传播,迭代调整对纹理特征的表达能力;

由于各个码字之间可能存在歧义,不能使用硬分配方式来构建特征和码字之间的关系模型;软分配中通过对每个码字dk设定权重系数以解决此问题;由于涉及多类别分割,特征数据X中含有多个类别的特征信息,因此根据高斯混合模型的思路为每个码字dk∈D设定一个平滑因子:S={s1,s2,...,sK}       (5)si表示特征向量xi的类别归属为码字dk的概率,S的初始化使用均匀分布随机初始化,分布区间为 受益于反向传播不断迭代,以获得最佳参数;

在此基础上,计算出不同特征与不同码字之间的权重系数αik:其中,rik为输入的特征表达xi与字典码字dk之间的残差距离:rik=xi-dk      (7)

纹理特征捕获结构通过权重软分配,获得关系模型的结果eik:eik=aik*rik        (8)

此时eik视为一个码字dk对一个特征xi的描述,通过聚合该码字dk对输入特征X的全部描述eik获得该个码字对整个特征矩阵的描述:针对纹理特征中纹理基元在图像上无序重复的存在,通过聚合的方式忽略特征的空间排列信息,提升对纹理特征分布信息的捕获能力;

依次计算各个码字对输入特征X的描述,进而获得纹理特征字典D对输入特征X的全部无序描述E:E={e1,e2,...,eK}      (10)其中,E的维度为K×C;

此时将获取到纹理字典的描述信息E添加到基础特征矩阵中;具体方法为:根据SE-Net中对通道信息的研究,通过学习的方式自动获取每个特征通道的调整系数Z,通过对E进行第一个维度的全局池化,获取到不同通道特征图fi对纹理特征字典的响应值,将此值作为特征矩阵重标定的调整系数Z:Z=(z1,z2,...,zc)       (11)计算根据纹理信息重标定的特征矩阵F1:

1

F=F*Z     (12)

其中,*表示矩阵通道相乘;

该步骤获得根据提取到的纹理特征信息重新标定的特征矩阵F1,该特征不仅包含卷积核内的信息,也包含了纹理信息,从而描述纹理;

步骤2.3,构造特征矩阵去噪结构;

在深度卷积网络模型之中,多次下采样之后特征值表示了在原影像中的范围较大,可能由此带来区域内不同纹理特征信息干扰,形成噪声;此时对获得特征矩阵F1进行去噪,以获得地物分割更精确的结果;

在蕴含较多重复纹理基元的图像去噪过程中,非局部均值去噪方法效果较好;相对与平滑滤波器去噪方法,非局部均值去噪通过计算两点间局部特征相似性来重建像素点,可以更好的保留图像的纹理细节,避免了通过局部平滑带来的纹理特征模糊;

由此思想,设计深度学习中特征矩阵重建式去噪结构;

步骤2.2获得含有纹理信息的特征矩阵F1和纹理特征字典D;利用监督学习的方式,字典D有效的学习到相应类别的纹理特征;使用字典D来重建特征矩阵,突出算法所需的纹理特征信息;

首先,计算特征矩阵F1中各个特征向量和各个码字之间的相似性;向量之间的相似性可由余弦相似度计算获得,在深度学习中,在保证计算效率的情况下使用点积相似度来近似余弦相似度;为了保证相似性之间的度量的准确性,要在计算点积相似度之前对向量进行归一化;根据矩阵计算规则,将F1进行矩阵转置得到 然后与D进行矩阵乘法计算,在通过softmax函数得出相似度矩阵W:上式中的softmax函数将相似度映射到(0,1)区间,并使得K个码字对一个特征xi相似度求和 为1;之后以相似度作为权重,进行矩阵相乘得到重建特征矩阵F2:F2=DWT        (14)

步骤2.4,构造上采样结构;

首先使用权重参数将步骤2.2和步骤2.3计算出的特征矩阵F1和F2进行连接得到最终的特征矩阵G:G=wf1*F1+wf2*F2       (15)其中,wf1和wf2是可学习参数,利用深度学习网络模型的反向传播调整参数的特性,让网络自动的调整特征信息的组合,以获得参数的准确估计;

然后,根据类别个数n对G进行通道压缩,显式地表示C个通道针对n个类别进行预测的结构;然后,双线性插值上采样到原图像大小尺寸;

该步骤得到与原始影像大小相同的特征矩阵,不仅包含卷积核的纹理特征,也进行特征去噪,更好的突出纹理特征信息,去除了下采样后卷积计算可能带来的噪声干扰;

步骤3,深度学习网络模型训练;

使用步骤1中制作的样本集和标签集作为步骤2构建好的网络模型的输入,设定网络模型超参,通过梯度下降算法,训练模型并获得稳定结果;

步骤4,图像预测;

对数据集进行预测,获得像素点j预测出的类别i的概率Pij,并将概率最大的值作为该像素的类型Tj:由于重叠区域内的像素存在多个不同的分割结果,可以按照最大投票方法进行合成;

通过对全部影像进行处理,获得每个像素的类型,从而实现地物类别的识别与分割,并将联通的地物构成最小的纹理基元;

步骤5,分割结果后处理

统计相同类型像素构成的联通区域,对预测结果中连通区尺寸小于阈值eCon的区域进行一定的膨胀,如果膨胀时接触到其它区域,则认为网络预测该连通区的类别出错,将该连通区类别改为最先接触到的其他连通区的类别;如果膨胀时未接触到其他区域,则将该连通区视为孤立的噪声点进行去除。