1.一种基于多尺度视觉特征提取的轻量级语义分割方法,其特征在于,具体按以下步骤实施:步骤1,构建基于多尺度特征提取的轻量级卷积神经网络LitNet,具体按以下步骤实施:所述多尺度特征提取的轻量级卷积神经网络结构包括特征提取模块、多尺度融合模块和上采样模块三部分,具体按以下步骤实施:步骤1.1,图像输入网络后,首先通过特征提取模块进行下采样提取特征,特征提取模块具体按以下步骤实施:步骤1.1.1,输入图像,设置width multipler α为1;
步骤1.1.2,对输入图像进行一次普通卷积操作,压缩1次h*w,将通道数调整为32*α通道,并进行BatchNormalization与relu激活;
步骤1.1.3,将步骤1.1.2中所得特征图传入反残差卷积块进行1次反残差卷积,得到通道数为16的特征图;
步骤1.1.4,对步骤1.1.3所得特征图进行16次反残差卷积操作,输出320通道的特征图;
反残差卷积构造步骤为:
首先通过1*1卷积进行通道扩张,并进行BatchNormalization与relu激活;然后通过3*
3可分离卷积,并引入空洞卷积进行处理;进而通过 1*1卷积调整通道,并进行BatchNormalization与relu激活;最后引入残差网络结构,将输入与最终卷积输出进行融合;
步骤1.2,再经过多尺度融合模块融合上下文信息,提取图像多尺度特征;所述多尺度融合模块具体按以下步骤实施:步骤1.2.1,将特征提取模块所得特征图传入多尺度融合模块,构造平均全局池化层、膨胀率分别为1,6,12,18的空洞卷积模块;
步骤1.2.2,获取整体特征然后进行1x1卷积调整通道数,并恢复分辨率;
步骤1.2.3,通过1*1卷积获取整体特征,改变通道数;
步骤1.2.4,分别使用膨胀率为6,12,18的空洞卷积提取到不同尺度下的特征;
步骤1.2.5,将步骤1.2.2 1.2.4中获取的特征进行合并,此时特征图的通道数为1280;
~
步骤1.2.6,通过构造1x1卷积调整通道数,得到融合后的256维特征图;
步骤1.3,最后通过上采样模块恢复图像尺寸,提高图像分辨率,输出分割结果;
步骤2,将经步骤1建立的神经网络进行训练;
步骤3,将经步骤2训练好的网络进行测试。
2.根据权利要求1所述的一种基于多尺度视觉特征提取的轻量级语义分割方法,其特征在于,所述上采样模块具体按以下步骤实施:步骤1.3.1,多尺度融合模块中得到256维特征图,构造上采样模块;
步骤1.3.2,对特征图进行三次双线性插值,得到上采样后的特征图;
步骤1.3.3,利用1*1卷积将通道数调整为分割类别数;
步骤1.3.4,构造reshape用于将特征图恢复为原始输入图片大小。
3.根据权利要求1所述的一种基于多尺度视觉特征提取的轻量级语义分割方法,其特征在于,所述步骤2中网络训练为使用CamVid数据集对网络进行训练,具体按以下步骤实施:步骤2.1,获取预训练权重;
步骤2.2,将数据集数据打乱,将90%的图像用于训练,10%的图像用于估计;
步骤2.3,采用交叉熵损失函数,每个epoch之后输出训练损失与训练准确率以及验证损失与验证准确率;
步骤2.4,初始学习率定为1e‑3,训练采用学习率自动下降的方式;
步骤2.5,val_loss2次不下降就将学习率降为之前的1/2继续训练;
步骤2.6,val_loss6次不下降时即认为训练完成,停止训练并保存模型。
4.根据权利要求3所述的一种基于多尺度视觉特征提取的轻量级语义分割方法,其特征在于,所述步骤2.2的具体操作过程包括:首先将训练集按照预先设定的batch输入进网络,然后随机random数据集为每张图片在[0.7,1.3]范围内任意选择一种尺寸比例进行缩放,再然后按照0.5的概率大小对全部图片做左右变换的翻转处理,再将图片调整色彩,最后将训练图片的大小统一裁剪为设定大小。
5.根据权利要求1所述的一种基于多尺度视觉特征提取的轻量级语义分割方法,其特征在于,所述步骤3中网络测试的具体过程为将测试图像输入网络,得到语义分割结果,并计算mIoU与FPS,对网络性能进行评估:步骤3.1,获取数据集中分割类别的RGB颜色;
步骤3.2,设定分类数及输入图像大小;
步骤3.3,加载模型并读取数据集;
步骤3.4,将数据集图像每一帧传入分割模型,对像素点进行分类;
步骤3.5,通过像素点分类标签,对分割图像上色,并调整为原图像大小。