1.一种基于跨域协同学习的图像去雨方法,其特征在于,包括以下步骤:步骤1、采集N张真实环境下含雨图像,进行归一化处理,将像素大小统一为h×w,作为真实域训练样本集R,100<N<10000,选择Rain200L合成图像去雨数据中的N张图像,进行归一化处理,将像素大小统一为h×w,作为第一合成域训练样本集S1,选择Rain1200合成图像去雨数据中的N张图像,进行归一化处理,将像素大小统一为h×w,作为第二合成域训练样本集S2,转入步骤2;
步骤2、基于多尺度注意力残差模块构建双分支图像去雨网络模型,转入步骤3;
步骤3、利用面向合成领域的跨域协同学习策略,基于第一合成域训练样本集S1和第二合成域训练样本集S2训练双分支图像去雨网络模型,得到初始双分支图像去雨网络模型,转入步骤4:
针对双分支图像去雨网络模型中第一个分支网络的协同学习策略如下:将第一合成域训练样本集S1中图像输入双分支图像去雨网络模型中,第一个分支网络的输出结果为 第二个分支网络 的输出结果为 将第二合成域训练样本集S2中图像输入双分支图像去雨网络模型中,第一个分支网络 的输出结果为 第二个分支网络 的输出结果为 通过构建损失函数L1实现第一个分支网络的协同学习,损失函数L1如下:
其中, 是第一个分支网络 的重建损失函数, 是第一个分支网络 的协同损失函数, 是一个超参数,用来权衡重建损失函数 和协同损失函数 的比重;
为第一合成域训练样本集S1对应标签图像,即为合成含雨图像对应的清晰图像;
重建损失函数 如下:
其中,|...|1表示为机器学习中L1损失函数;
协同损失函数 如下:
其中,|...|1表示为机器学习中L1损失函数;
针对双分支图像去雨网络模型中第二个分支网络的协同学习策略如下:将第一合成域训练样本集S1中图像输入双分支图像去雨网络模型中,第一个分支网络的输出结果为 第二个分支网络 的输出结果为 将第二合成域训练样本集S2中图像输入双分支图像去雨网络模型中,第一个分支网络 的输出结果为 第二个分支网络 的输出结果为 通过构建损失函数L2实现第二个分支网络的协同学习,损失函数L2如下:
其中, 是第二个分支网络 的重建损失函数, 是第二个分支网络 的协同损失函数, 是一个超参数,用来权衡重建损失函数 和协同损失函数 的比重; 为第二合成域训练样本集S2对应标签图像,即为合成含雨图像对应的清晰图像;
重建损失函数 如下:
其中,|...|1表示为机器学习中L1损失函数;
协同损失函数 如下:
其中,|...|1表示为机器学习中L1损失函数;
步骤4、利用面向真实领域的跨域学习策略,基于真实域训练样本集R训练初始双分支图像去雨网络模型;当达到预定的训练次数E时,获得训练好的双分支图像去雨网络模型,转入步骤5;否则返回步骤3;
步骤5、采集M张真实环境下含雨图像,100<M<10000,分别通过归一化处理,得到像素大小为h×w的M张真实含雨图像,构成测试样本集;
步骤6、将测试样本集中的真实含雨图像输入到训练好的双分支图像去雨网络模型,去除真实含雨图像中的雨纹信息。
2.根据权利要求1所述的一种基于跨域协同学习的图像去雨方法,其特征在于,步骤2中,多尺度注意力残差模块的构建方法如下:通过局部最大池化方法获取图像的三个尺度分支,得到低级输入特征,每个分支采用相同的卷积网络对不同尺度的低级输入特征进行特征映射,提取高级语义特征;通过多分支跨尺度域信息融合方法,将不同分支之间的低级输入特征和高级语义特征进行跨尺度连接,提取到三个分支的跨尺度特征之后,通过特征级联的方式对三个跨尺度特征进行融合,得到多尺度融合特征;利用多尺度特征融合模块代替基本残差模块中的卷积层,并加入注意力机制,构建多尺度注意力残差模块。
3.根据权利要求2所述的一种基于跨域协同学习的图像去雨方法,其特征在于,步骤2中,双分支图像去雨网络模型的构建方法如下:连续连接H个多尺度注意力残差模块,10≤H≤12,得到第H个多尺度注意力残差模块的输出结果为MSARBH,将输入的样本图像与其进行跳跃连接,构建单分支图像去雨网络;由两个单分支图像去雨网络搭建双分支图像去雨网络模型。
4.根据权利要求3所述的一种基于跨域协同学习的图像去雨方法,其特征在于,H=10。
5.根据权利要求1所述的一种基于跨域协同学习的图像去雨方法,其特征在于,步骤4中,构建面向真实领域的跨域学习策略,需要先设计真实域中含雨图像的伪标签生成方法,具体的方法阐述如下:
将真实域训练样本集R中图像输入初始双分支图像去雨网络模型中,第一个分支网络的输出结果为 第二个分支网络 的输出结果为 分别如下:基于初始双分支图像去雨网络模型的输出结果 和 利用下式获取真实含雨图像的伪标签信息:
其中,Y′R是最后生成的伪标签图像,min(…)表示最小值运算,mean(…)表示均值运算,|...|表示欧式距离计算,(i,j,k)分别表示输出特征图 和 的宽、高和通道数,T为实验过程中设置的阈值。
6.根据权利要求5所述的一种基于跨域协同学习的图像去雨方法,其特征在于,步骤4中,针对双分支图像去雨网络模型构建的面向真实领域的跨域学习策略如下:获得真实域训练样本集R中的真实含雨图像的伪标签信息后,通过构建损失函数L3来训练初始双分支图像去雨网络模型,使得网络模型对于雨纹信息的学习能力从合成域逐步迁移到真实域,损失函数L3如下式:其中, 为基于真实含雨图像的伪标签训练第一分支网络 的重损失函数, 为基于真实含雨图像的伪标签训练第二分支网络 的重损失函数;Y′R是最后生成的伪标签图像;
重建损失函是 如下式:
其中,|...|x表示为机器学习中L1损失函数;
双分支图像去雨网络模型的整体训练损失函数Ltotal如式:Ltotal=L1+L2+λRL3其中,λR是一个超参数,用来平衡合成域损失函数和真实域损失函数的比重。