1.基于融合感知损失的深度语义分割图像压缩方法,其特征在于,包括:利用预训练的语义分割网络获得原始图像的图像增强语义图,并对其进行无损编码;
将所述图像增强语义图和原始图像通过深度语义压缩网络得到图像的紧凑表示,作为基础图像描述信息,并对其进行无损编码;所述将所述图像增强语义图和原始图像通过深度语义压缩网络得到图像的紧凑表示包括:通过将所述图像增强语义图中的语义信息添加到所述原始图像中,并通过全卷积编码器进行压缩编码,生成图像的紧凑表示;
对所述紧凑表示进行上采样得到与原始图像相同大小的重构图像,作为基础图像描述信息,使用基础图像描述信息即所述图像增强语义图,通过GAN网络中的生成网络模型来拟合图像在压缩过程中损失的图像特征信息作为图像重构增强信息,通过将所述图像重构增强信息和所述基础图像描述信息相结合得到增强重构图像;
所述获得增强重构图像,通过将所述增强重构图像和所述原始图像作差,得到重构图像残差信息,并对所述重构图像残差信息进行有损编码;
将所述图像重构增强信息与所述重构图像残差信息相加,获得重构图像;其中,采用融合感知损失函数对所述深度语义压缩网络及所述GAN网络进行基于子块的训练;
在GAN网络中,包括一个生成网络模型和一个判别网络模型;
基于子块的GAN网络训练包括,使用基于融合感知对抗损失来进行梯度回传,所述融合感知对抗损失LE,包括基于子块的标准对抗损失LDp,以及基于子块的感知损失LGp:LE=LDp+LGp
所述GAN网络中判别网络模型的目标是最大化基于子块的标准对抗损失LDp:其中,x表示所述原始图像,s所述增强语义图,c'基础图像描述信息; 表示第i个子块在判别网络的第d个尺度下通过判别网络的第l层网络层提取出的图像特征信息,i=
1...n;k=1...l;图像分为n个子块,d等于1或2,d等于1代表原始大小;d=2代表上采样2倍的子块;
所述GAN网络中生成网络模型的目标是最小化基于子块的感知损失LGp:LGp=Lp+L1+LMS‑SSIM+LVGG
其中,基于子块的损失Lp:
其中,所述原始图像x以及生成图像x'被等分为c个大小相等的子块, 表示从判别网络中的第k层网络提取的特征信息,p=1...c;t代表目标图像;在判别网络模型中子块被设置为初始大小和2x大小,其中1是原始大小,2代表的是上采样2倍的子块,在原始大小和上采样2倍大小的两个尺度下判别器网络架构均有n’层网络,λ分别为Lp损失函数的总的权重系数;
其中L1为:
L1=ε||‑x′||1
其中LMS‑SSIM:
其中,将原有图像设为原始尺度1,最终尺度表示为M,其中cj,sj分别表示在j尺度下对比度相似性与结构相似性的指标,αM表示亮度在第M个尺度上的权重,βj表示对比度在第j个尺度上的权重,γj表示相似度在第j个尺度上的权重;
其中LVGG为:
其中,Vq表示在VGG的第q层提取的图像特征表示,m表示VGG架构中使用的网络层数。
2.如权利要求1所述的基于融合感知损失的深度语义分割图像压缩方法,其特征在于,所述深度语义压缩网络采用全卷积架构,其前4层网络中依次采用了64、128、256、512数量的过滤器,除首层采用7*7大小的卷积核外,其余各层均采用3*3的卷积核大小以及stride=2的步长来获取图像的隐式特征分布信息,且每层卷积层后均跟有实例规范化和ReLU激活函数。
3.如权利要求2所述的基于融合感知损失的深度语义分割图像压缩方法,其特征在于,所述深度语义压缩网络在所述全卷积架构的最后增加了一个卷积核大小为7*7、过滤器为3以及stride=1的步长的卷积网络,且在所述卷积网络的最后使用了Tanh激活函数。
4.基于融合感知损失的深度语义分割图像压缩系统,其特征在于,包括:语义信息获取单元,其用于利用预训练的语义分割网络提取原始图像的语义信息;
编码单元,其用于将所述语义信息和原始图像作为压缩网络的输入,生成压缩图像;将所述压缩图像及语义信息作为图像残差网络的输入,获得重构图像;计算所述重构图像与原始图像间的重构损失信息,并对其进行有损编码;
解码单元,其用于所述重构图像与解码后的重构损失信息相加,得到最终的重建图像;
所述压缩系统采用融合感知损失函数对所述压缩网络及图像残差网络进行基于子块的训练;
基于子块的GAN网络训练包括,使用基于融合感知对抗损失来进行梯度回传,所述融合感知对抗损失LE,包括基于子块的标准对抗损失LDp,以及基于子块的感知损失LGp:LE=LDp+LGp
所述GAN网络中判别网络模型的目标是最大化基于子块的标准对抗损失LDp:其中,x表示所述原始图像,s所述增强语义图,c'基础图像描述信息; 表示第i个子块在判别网络的第d个尺度下通过判别网络的第l层网络层提取出的图像特征信息,i=
1...n;k=1...l;图像分为n个子块,d等于1或2,d等于1代表原始大小;d=2代表上采样2倍的子块;
所述GAN网络中生成网络模型的目标是最小化基于子块的感知损失LGp:LGp=Lp+L1+LMS‑SSIM+LVGG
其中,基于子块的损失Lp:
其中,所述原始图像x以及生成图像x'被等分为c个大小相等的子块, 表示从判别网络中的第k层网络提取的特征信息,p=1...c;t代表目标图像;在判别网络模型中子块被设置为初始大小和2x大小,其中1是原始大小,2代表的是上采样2倍的子块,在原始大小和上采样2倍大小的两个尺度下判别器网络架构均有n’层网络,λ分别为Lp损失函数的总的权重系数;
其中L1为:
L1=ε||x‑x′||1
其中LMS‑SSIM:
其中,将原有图像设为原始尺度1,最终尺度表示为M,其中cj,sj分别表示在j尺度下对比度相似性与结构相似性的指标,αM表示亮度在第M个尺度上的权重,βj表示对比度在第j个尺度上的权重,γj表示相似度在第j个尺度上的权重;
其中LVGG为:
其中,Vq表示在VGG的第q层提取的图像特征表示,m表示VGG架构中使用的网络层数。
5.一种电子设备,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,其特征在于,所述计算机指令被处理器运行时,执行如权利要求1‑3任一项所述的基于融合感知损失的深度语义分割图像压缩方法。
6.一种计算机可读存储介质,用于存储计算机指令,其特征在于,所述计算机指令被处理器执行时,执行如权利要求1‑3任一项所述的基于融合感知损失的深度语义分割图像压缩方法。