欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021101546817
申请人: 西安理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于双尺度卷积神经网络的超分辨放大方法,其特征在于,具体按照以下步骤实施:

步骤1,预处理原始图像数据集,对原始图像数据集中的每一幅图像进行下采样得到低分辨率图像数据集;

步骤2,将步骤1获得的低分辨率图像数据集中的每一幅低分辨率图像输入到特征学习模块提取特征图,其中,特征学习模块包含特征嵌入模块、残差模块和重构模块三部分;

步骤3,将步骤2中获得的特征图输入到放大模块进行训练得到放大的图像,其中,放大模块包含小尺度链和大尺度链两部分;

步骤4,将步骤3获得的小尺度链和大尺度链特征图进行融合,并且将大尺度链的输入FBI通过残差学习与融合后的特征图FMms进行连接,然后将连接后的全局特征图FMgf输入逐像素损失函数中,不断地迭代使损失函数最小化,经过数次训练后生成超分辨放大网络模型;

步骤5,设置超分辨放大网络模型的参数,将测试数据集中的图像输入到该模型中,进行任意尺度因子超分辨测试,完成图像超分辨放大。

2.根据权利要求1所述的一种基于双尺度卷积神经网络的超分辨放大方法,其特征在于,所述步骤2具体按照以下步骤实施:步骤2.1,将步骤1中获得的低分辨率图像输入到特征嵌入模块,实现从图像空间映射到特征空间,生成特征映射。特征嵌入模块使用3×3卷积核和使用ReLU作为激活函数,每层卷积使用64个卷积核生成64个特征映射;

步骤2.2,将步骤2.1中得到的特征映射输入到残差模块,得到多通道特征映射的特征图;残差模块包含多个依次连接的残差块,每个块包含残差分支和恒等映射两个分支,每个残差块定义如公式(1)所示;

u u‑1 u‑1

R=F(R )+R           (1)其中,R表示每个残差块,u=1,2,u,u为残差块个数,F为残差函数;

恒等映射让每一幅图像的整体特征直接从一个单元传递到另一个单元,加速了神经网络的收敛。残差分支含有两个卷积层,目的是使用卷积滤波器来提取特征;

步骤2.3,将步骤2.2得到的多通道特征映射的特征图输入到残差网络的重构模块,重构模块将特征图从多通道转换回图像的原始空间,即1通道或3通道,1通道表示灰度图像,3通道表示彩色图像,重构模块也使用3×3卷积核作为重构部分,以输出精确的特征图。

3.根据权利要求2所述的一种基于双尺度卷积神经网络的超分辨放大方法,其特征在于,所述步骤3具体按照以下实施:将步骤2中获得的特征图直接输入到小尺度链,经过8层卷积和1层反卷积计算得到与原始图像相同尺寸的一组特征图;将步骤2中得到的特征图利用双三插值法将其上采样到与原始图像相同的尺寸,然后输入进大尺度链,经过6层卷积计算得到一组特征图,其中的小尺度链和大尺度链都使用3×3卷积核和使用ReLU作为激活函数,并且每层卷积使用64个卷积核生成64个特征映射。

4.根据权利要求3所述的一种基于双尺度卷积神经网络的超分辨放大方法,其特征在于,所述步骤4具体按照以下步骤实施:步骤4.1,将步骤3得到的小尺度链产生的特征映射和大尺度链产生的特征映射进行合并,得到一组128通道的特征图,然后在使用一组1×1和3×3的卷积核对这些特征图进行融合,如公式(2)所示,

FMms=Cms([FMss,FMcs])        (2)公式(2)中FMms表示双尺度链的特征图融合,Cms表示1×1卷积和3×3卷积的多重运算,1×1卷积目的是对128个通道特征图进行降维,3×3卷积目的是融合双尺度链的特征图,FMss表示大尺度链的特征图映射,FMcs表示小尺度链的特征图映射;

步骤4.2,将步骤4.1融合后的特征图使用残差学习与大尺度链的输入进行连接,得到全局特征图如图5所示,如公式(3)所示,FMgf=FMms+FBI         (3)公式(3)中FMgf表示全局特征图,FBI表示大尺度链上经过双三上采样后的输入图像。

步骤4.3,定义双尺度卷积神经网络的逐像素损失函数,如公式(4)所示,公式(4)中,Lmse表示逐像素损失,FMgf表示网络产生的全局特征图,y为低分辨率图像对应的原始图像,C、W、H分别为输入图像的通道、宽度和高度;

步骤4.4,将步骤4.2输出的全局特征图与原始图像输入到步骤4.3的逐像素损失函数中,经过逐像素损失函数处理生成峰值信噪比和结构相似比较高的高分辨率图像;

步骤4.5,不断迭代步骤4.4,得到使损失函数Lmse最小的一组权重参数作为训练好的模型参数,保存训练好的超分辨放大网络模型。

5.根据权利要求4所述的一种基于双尺度卷积神经网络的超分辨放大方法,其特征在于,所述步骤5中设置超分辨放大网络模型的参数具体按照以下实施:特征学习模块的网络深度设置为18,残差块为8个,每层卷积使用64个3×3的卷积核。放大模块中大尺度链有6层卷积,每层使用64个3×3的卷积核;小尺度链有8层卷积和1层反卷积,每层也是使用64个3×3的卷积核。网络的批处理大小设置为16,双尺度卷积神经网络利用动量为0.9,最小批量‑3 5

大小为32的SGD,设置学习速率是10 ,每迭代1.0×10次减小一半。