1.一种基于深度学习的遥感影像建筑物提取及轮廓优化方法,其特征在于步骤如下:
a首先构建建筑物训练样本数据集,然后对构建完好的建筑物训练样本数据进行数据增强,将每张遥感影像以及对应栅格数据按照指定尺寸分割裁剪为指定尺寸的小影像构成建筑物样本数据集,每一张小影像的命名规则为其在原始影像中的行、列编号多;
b利用数据增强后的建筑物样本数据集构建用于遥感影像提取的待训练神经网络模型PRCUnet;
c将数据增强后的建筑物样本数据集中的小影像作分为训练集和验证集输入到
PRCUnet网络模型中,对待训练的PRCUNet网络模型进行训练;
d依据多种神经网络评价指标综合选择最优的PRCUnet网络权重文件,将待测试数据裁剪至指定大小,输入到模型中进行建筑物提取,得到初步预测结果;
e构建建筑物轮廓优化算法,对初步预测结果进行处理,优化建筑物轮廓;
f利用优化后的建筑物轮廓拼接还原为整幅影像;
g转换为矢量,完成制图;
构建用于遥感影像提取的待训练神经网络模型PRCUnet,包括:基于Tensorflow神经网络框架、Unet网络模型基础,嵌入池化金字塔模块PPM、残差跳跃路径Res Block以及卷积注意力机制CBAM,基于卷积、池化、激活逐层搭建PRCUnet网络模型;
基于Unet网络架构构建待训练神经网络模型PRCUnet,将相互串联的CBAM模块、PPM模块、Res Block模块集成到PRCUnet的网络模型中,从而提取出更准确的建筑物轮廓;
卷积注意力机制CBAM结合了空间和通道的attention机制模块,为输出的张量分配不同的网络权重,从而能够在大量信息中筛选出重要的信息;
残差跳跃模块Res Block用来消除低层‑高层特征直连导致的语义鸿沟,保护信息的完整性;
池化金字塔模块PPM用来学习多尺度的建筑特征,充分获取多尺度建筑物的全局信息;
PRCUnet网络对称进行4次上、下采样,左半部分通过下采样减少数据的空间维度,从浅层至深层获取高层语义特征,输入数据从256×256×3逐渐下采样为为16×16×512,过滤掉噪声和不重要的高频信息;残差单元包括顺序连接的卷积层、批处理规范化及校正线性单元,利用卷积层提取图像深层次特征,利用BN层进行归一化处理,加快模型收敛速度,提升模型的泛化性能,利用ReLU激活函数消除深度网络中的梯度消失问题;
在编码路径的最后阶段连接PPM模块,PPM模块在网络中起到了桥梁的作用,扩大了过滤器的视野;
待训练神经网络模型PRCUnet网络右半部分为解码路径,由自底向上的反卷积层组成,把提取的深层次特征最近邻上采样到需要的尺寸,在解码开始前加入Dropout层,从而提高PRCUnet网络模型的泛化能力并减少过拟合;右半部分共有四个解码器模块,包括两部分输入:上一层反卷积获取的深层特征,以及相应的网络左半部分提取的浅层特征,利用残差跳跃路径将两部分特征进行融合,逐步恢复建筑物的细节特征和空间维度,在每次上采样后,对上一步的输入数据进行加深处理,即利用3×3的卷积核进行两次卷积消除上采样过程中的混淆效应,当特征图上采样为输入图片大小后,输入到1×1的卷积和sigmoid激活函数模块中,从而提供分割图;
构建建筑物轮廓优化算法,优化建筑物轮廓,包括:
d1基于最小外接矩形对单个建筑物轮廓建立局部笛卡尔坐标系;
d2基于建筑物轮廓与最小外接矩形的交点划分区域:
在得到轮廓的最小外接矩形后,其求法决定了边缘轮廓点与矩形的4条边必有一个交点,为了更好的量化建筑物轮廓与最小外接矩形的差异程度,并便于计算豪斯多夫距离Hausdorff距离,将建筑物轮廓划分为上下链或左右链进行计算,具体的,设在新坐标系的AB方向轴,轮廓点上A方向坐标最大的点为E点,最小的为F点,B方向坐标最小的为D点,最大的为C点;当E点B坐标小于b/2时,轮廓以CD点为界,分为上下链;以逆时针为方向,其中CED为上链,DFC为下链;当E点B坐标大于b/2时,轮廓以EF点为界,分为左右链;以逆时针为方向,其中EDF为左链,FCE为右链;
d3基于豪斯多夫距离Hasusdorff距离的建筑物轮廓规整:
豪斯多夫距离为任意两个集合之间定义的一种距离,利用豪斯多夫距离检测建筑物轮廓和最小外接矩形轮廓之间的距离关系;基于最小外接矩形建立的笛卡尔坐标系内有两个点集P和Q,分别为为建筑物轮廓点集和最小外接矩形轮廓点集,P={P0,P1,P2,P3……Pn},Q={Q0,Q1,Q2,Q3……Qn},其中P,Q同属于转换后的AB坐标系内,那么利用此概念,通过计算建筑物轮廓链P和最小外接矩形链Q之间的Hausdorff距离,将距离与阈值β比较,从而判断是否需要将链Q替换为链P,具体的说如果建筑物轮廓链P与最小外接矩形链Q距离大于阈值β,则表明该部分不是神经网络漏检部分,如果差距小于阈值β,则将这一小段链Q替换为链P;
d4基于道格拉斯‑普克(Douglas‑Peucker)算法对优化过后的建筑物轮廓节点进行简化,得到建筑物轮廓优化结果:通过Hausdorff距离的拟合后,建筑物轮廓链消除了凹陷部分,然后利用地理信息系统中常见的线要素压缩方法道格拉斯‑普克法,将提取出的建筑物轮廓去除冗余点,拟合成相对规则的多边形;
构建用于遥感影像提取的待训练神经网络模型PRCUnet,包括:
e1为充分获取多尺度建筑物的全局信息,增强不同尺度、不同形状建筑物的提取能力,在PRCUnet模型中迁移了多尺度语义特征解析,即池化金字塔PPM模块;
e2为去除无效特征对网络模型产生的影响,嵌入卷积注意力机制CBAM对空间spatial信息和通道channel信息进行权重分配,在大量信息中筛选出有效特征;
e3为提高卷积层的提取能力,消除低层‑高层特征直连导致的语义鸿沟,使用残差跳跃路径Res Block代替原有网络的跳跃直连方式。
2.根据权利要求1所述的基于深度学习的遥感影像建筑物提取及轮廓优化方法,其特征在于,构建建筑物训练样本数据集的具体步骤为:a1采集若干张遥感影像构建数据集,并对遥感影中的建筑物用多边形进行框选从而生成建筑物矢量,建筑物矢量标签用于指示建筑物的位置与边界,未被框选的区域定义为背景;
a2将建筑物矢量转换为对应遥感影像尺寸的栅格数据,样式重采样为二值栅格数据;
a3将每张遥感影像以及对应栅格数据按照指定尺寸分割裁剪成多张小影像,每一张小影像的命名规则为其在多少行多少列,将分割裁剪后的遥感影像和对应栅格数据集合后得到原始数据集;
a4去除原始数据集中建筑物占比小于5%且建筑物面积的无效样本;
a5将原始数据集按照8:2的比例分别分为训练集、验证集。
3.根据权利要求1所述的基于深度学习的遥感影像建筑物提取及轮廓优化方法,其特征在于,对建筑物样本数据集进行数据增强,包括:b1对训练集及验证集数据进行几何变换,包括放大、缩小、翻转、旋转、裁剪、变形操作;
b2对训练集及验证集数据进行颜色变换,包括噪声、模糊、颜色改变、擦除、填充操作。
4.根据权利要求1所述的基于深度学习的遥感影像建筑物提取及轮廓优化方法,其特征在于,将数据增强后的建筑物样本数据集作分为训练集和验证集输入到PRCUnet网络模型中,对待训练的PRCUNet网络模型进行训练,包括:c1首先设置迭代次数为I,然后初始化I=1;设训练集为T;设PRCUnet预测建筑物轮廓为Label,简称预测标签L;设建筑物真实轮廓为Ground Truth,简称真实标签G;
c2将训练集T放入预测标签L中进行训练,在第I次训练中,从验证集T中随机选择一张图片,采用上一轮训练得到的网络权重参数对其进行预测,若是第一轮训练,则不加载权重文件;将得到的预测标签L与其对应的真实标签G以矩阵的形式分别输出,矩阵输出的维度为预测标签L[w×h×cL]及真实标签G[w×h×cG],其中w和h分别对应图像的宽与高,c为图像的通道数,矩阵中每一个元素值为置信度,区间为(0,1),每一个置信度表示该矩阵对应图片位置的像素点是否为建筑物;若小于设定的阈值,则表明该像素点不是建筑物,若大于则表明该像素点为建筑物,利用下式计算第I轮训练后的预测标签L与真实标签G的二元交叉熵损失值;
对预测标签L[w×h×cL]及真实标签G[w×h×cG]中的每个置信度值作求和符号中的运算,然后再去求平均值,从而得到二元交叉熵损失值;
每一轮训练会记录下当前训练中的神经网络模型PRCUnet的所有参数作为网络权重文件;
比较第I轮训练后的二元交叉熵损失值是否小于前一轮训练后的二元交叉熵损失值,如果小于,则根据第I轮训练后的二元交叉熵损失值,通过反向传播更新当前网络权重,修改神经网络模型PRCUnet中参数,然后依据新的网络权重文件开始下一轮训练;如果大于,则保持前一轮训练的网络权重,然后继续训练;
令I=I+1,通过对PRCUnet网络进行反复迭代训练,直到二元交叉熵损失值收敛,则停止迭代,得到最新训练完成的网络权重文件。
5.根据权利要求1所述的基于深度学习的遥感影像建筑物提取及轮廓优化方法,其特征在于,依据多种神经网络评价指标综合选择最优的PRCUnet网络权重文件,对测试集数据进行建筑物提取,包括:当损失函数训练一定次数收敛后,根据Precision、Recall、F1、IoU指标对所有记录下的网络权重文件进行评估,根据综合数值大小,选择最优模型,其中各种神经网络评价指标如下:其中TP代表正样本被判定为正样本、FP代表负样本被判定为正样本、FN代表负样本被判定为负样本;
获取待测试的遥感影像,按照模型要求的尺寸进行分割裁剪,并根据行列号对裁剪结果进行编号;
加载训练好的PRCUnet模型,将待测试的分割影像输入到加载最优网络权重文件的PRCUnet模型中,得到每张图片的建筑物提取结果;
当前步骤的建筑物提取结果大小为裁剪过的尺寸的黑白二值图片,黑色用来表示背景,白色用来表示建筑物。
6.根据权利要求1所述的基于深度学习的遥感影像建筑物提取及轮廓优化方法,其特征在于基于最小外接矩形为:建筑物轮廓由有限个密集像素点组成,建筑物的轮廓是一条由顺序相连的坐标点集合表示的闭合曲线;设Z={(x0,y0),(x1,y1),……,(xn,yn)},其中n∈N*,(x0,y0)=(xn,yn);曲线Z是以(x0,y0)为起点,(xn,yn)为终点,按照逆时针方向首尾闭合的曲线;Opencv中的最小外接矩形求法是首先对轮廓曲线上的点进行Sklansky运算,从而得到一个包含所有轮廓点的凸包;再进一步对凸包运行旋转卡尺算法Rotating Calipers,枚举多个矩形比较,面积最小的即为最小外接矩形。