欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021102518176
申请人: 西华大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-28
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于跨尺度注意力网络的图像超分辨率重建系统,其特征在于,包括:浅层特征提取模块、多尺度残差模块和重建模块;所述浅层特征提取模块用于从输入的低分辨率图像中提取浅层特征;所述多尺度残差模块包括若干个级联的高阶跨尺度注意力组、一个特征融合模块和一个全局残差加法器;所述高阶跨尺度注意力组与所述特征融合模块以级联方式连接,同时各个高阶跨尺度注意力组以其前一个高阶跨尺度注意力组的输入特征和输出特征作为输入;所述多尺度残差模块通过所述高阶跨尺度注意力组从所述浅层特征中提取不同深度的残差特征,然后通过所述特征融合模块对所述残差特征进行融合,得到对应的融合特征,并通过所述全局残差加法器将所述浅层特征与该融合特征相加得到对应的深层特征;所述重建模块用于根据所述深层特征进行上采样和特征重构,输出最终的高分辨率图像;

所述高阶跨尺度注意力组包括一个密集特征融合模块、若干个级联的残差嵌套模块以及一个高阶跨尺度注意力模块;所述密集特征融合模块用于对获取到的特征进行融合;所述残差嵌套模块包括第一残差学习模块和第二残差学习模块;所述第一残差学习模块包括并联的基本残差块和宽激活残差块,所述基本残差块和宽激活残差块均为“卷积层‑ReLU层‑卷积层”结构,区别在于所述宽激活残差块在ReLU层激活之前进行了通道扩展处理,在ReLU层激活之后进行通道压缩处理;所述第二残差学习模块包括一个n×n卷积层,其中n为大于1的奇数;所述基本残差块的输出与所述宽激活残差块的输出相减后作为所述第二残差学习模块的输入;所述第二残差学习模块的输出与所述基本残差块的输出相加并经一个n×n卷积层学习后,与当前获取到的特征相加并输出至下一个模块;所述高阶跨尺度注意力模块用于根据最后一个残差嵌套模块的输出结果提取若干个多尺度特征,并分析各个多尺度特征的跨尺度注意力权重和尺度内注意力权重,根据所述跨尺度注意力权重和尺度内注意力权重调整多尺度特征并进行特征融合;

所述高阶跨尺度注意力模块包括多尺度特征提取子网络、跨尺度注意力生成子网络、尺度内注意力生成子网络以及多尺度特性调整与融合子网络;所述多尺度特征提取子网络由一个1×1卷积层和若干个具有不同间隔的空洞卷积层并联组成,且每个卷积层具有不同的感知域;所述跨尺度注意力生成子网络用于根据所述多尺度特征分析对应的跨尺度注意力权重;所述尺度内注意力生成子网络用于根据所述多尺度特征分析对应的尺度内注意力权重;所述多尺度特性调整与融合子网络用于将各个多尺度特征与其对应的跨尺度注意力权重和尺度内注意力权重相乘,并由Concat层拼接后,输入一个n×n卷积层进行特征融合。

2.根据权利要求1所述的图像超分辨率重建系统,其特征在于,所述跨尺度注意力生成子网络包括若干个与所述多尺度特征提取子网络中的各个卷积层一一对应连接的CONV‑CC层和若干个跨尺度注意力权重分析单元;所述CONV‑CC层是输出通道为1的1×1卷积层,且各个所述CONV‑CC层并列设置;所述多尺度特征提取子网络中各个卷积层的输出并列输入各个所述CONV‑CC层;所述跨尺度注意力权重分析单元包括一个计算层、一个全局池化层和一个Sigmoid层,负责为对应尺度获取跨尺度注意力权重;所述计算层将除对应尺度外其余尺度相同位置上的CONV‑CC层的输出相乘并进行累加后,再与所述多尺度特征提取子网络中的对应尺度卷积层的输出进行相乘;然后通过所述全局池化层和所述Sigmoid层得到对应尺度的跨尺度注意力权重。

3.根据权利要求1所述的图像超分辨率重建系统,其特征在于,所述尺度内注意力生成子网络包括一个全局池化层;与该全局池化层连接的一个“卷积层‑ReLU层‑卷积层”结构;

与该“卷积层‑ReLU层‑卷积层”结构连接的Sigmoid层。

4.根据权利要求1所述的图像超分辨率重建系统,其特征在于,所述多尺度特性调整与融合子网络包括与所述多尺度特征提取子网络中的卷积层一一对应连接的若干个乘法器;

与各个乘法器连接的一个Concat层;以及与该Concat层连接的一个n×n卷积层;所述多尺度特征提取子网络中各个卷积层的输出与对应的跨尺度注意力权重和尺度内注意力权重通过各个乘法器进行相乘;然后由Concat层进行拼接;最后输入n×n卷积层进行特征融合。

5.一种基于跨尺度注意力网络的图像超分辨率重建方法,应用于权利要求1‑4任一项所述的图像超分辨率重建系统,其特征在于,包括:S1.根据图像退化模型建立训练集,得到N个低分辨率图像ILR和与N个低分辨率图像ILR对应的真实高分辨率图像IHR;其中,N为大于1的整数;

S2.将所述低分辨率图像输入到浅层特征提取模块以提取图像的浅层特征;

S3.将浅层特征输入多尺度残差模块提取深层特征;

S4.将所述深层特征输入重建模块,进行亚像素卷积完成上采样处理,并重建出最后的高分辨率图像;

S5.通过损失函数对所述图像超分辨率重建系统进行优化,所述损失函数使用N个重建高分辨率图像与对应真实高分辨率图像间的平均L1误差,表达式为:式中,L(Θ)表示损失函数,fHOCSANet表示所述图像超分辨率重建系统的功能函数。

6.根据权利要求5所述的方法,其特征在于,所述多尺度残差模块包括若干个级联的高阶跨尺度注意力组、一个特征融合模块以及一个全局残差加法器,所述S3包括:S31.通过若干个级联的高阶跨尺度注意力组对所述浅层特征进行分析,得到不同深度的残差特征;

S32.通过所述特征融合模块对所述残差特征进行融合,得到对应的融合特征;

S33.通过全局残差加法器将所述浅层特征和所述融合特征进行相加,得到对应的深层特征。

7.根据权利要求6所述的方法,其特征在于,所述高阶跨尺度注意力组包括一个密集特征融合模块、若干个级联的残差嵌套模块以及一个高阶跨尺度注意力模块,所述S31包括:通过所述密集特征融合模块对获取到的特征进行融合;

通过若干个级联的残差嵌套模块对融合后的特征获取不同深度的残差特征,并通过高阶跨尺度注意力模块进行局部残差学习。

8.根据权利要求7所述的方法,其特征在于,所述高阶跨尺度注意力模块包括多尺度特征提取子网络、跨尺度注意力生成子网络、尺度内注意力生成子网络以及多尺度特性调整与融合子网络;所述通过高阶跨尺度注意力模块进行局部残差学习的步骤包括:通过所述多尺度特征提取子网络对最后一个残差嵌套模块输出的特征进行提取,获取若干个多尺度特征;

通过跨尺度注意力生成子网络分析所述多尺度特征的跨尺度注意力权重;通过尺度内注意力生成子网络分析所述多尺度特征的尺度内注意力权重;

通过多尺度特性调整与融合子网络将每一个多尺度特征与其对应的跨尺度注意力权重和尺度内注意力权重相乘,并由Concat层拼接后,输入n×n卷积层进行特征融合。