欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2018116213186
申请人: 江苏师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度学习的图像融合重建方法,其特征在于,该方法包括如下步骤:(1)获取源图像,将得到的源图像按照一定比例选取构成训练图像数据集和测试图像数据集;

(2)构建深度学习网络框架,网络框架是一个7层框架,包括3个卷积层和3个relu层以及回归层;

(3)使用训练图像数据集对网络框架进行训练;

(4)将测试图像数据输入到步骤(3)训练好的框架中,输出预测残差图像;

(5)将预测残差图像与相对应的测试图像依行依列相加得到最终的融合高分辨率图像;

步骤(2)中的深度学习网络框架,具体设计如下:

(2.1)基于卷积核的大小随机初始化参数wi,bi,w代表权重矩阵,即每个卷积核内参数组成的矩阵,b代表偏置矩阵,i代表对应的卷积层,设置直接误差项、权值惩罚项均为0;

(2.2)采用前向传播算法计算出神经网络各节点的线性组合值和激活值,公式(1)为卷积层内的卷积操作,公式(2),(3)为relu层内操作,具体如下所示:zi=Wi×xi+bi               (1)ai=relu(zi)                (2)其中,relu函数表示为:

其中,xi是每个卷积层的输入特征矩阵,xi在卷积层内的进行卷积操作后输出为zi,也即relu层的输入特征矩阵,每一层输出的特征矩阵,也是下一层的输入矩阵,网络框架通过训练进行自主学习,实现对框架参数的更新;

步骤(3)中,使用训练图像数据集对网络框架进行训练前,需对训练图像数据集的图像进行如下处理:(3.1)对训练集内的源图像使用下采样操作变成原来大小的二分之一和四分之一,将下采样后的图像用双三次插值法变成和源图像一样大小,将同一张源图像变成二分之一模糊训练图像A1和四分之一模糊训练图像B1,大小均为128×128;

(3.2)对两幅训练图像用滑动窗进行分块,采用的是大小为8×8且滑动步长为1的滑动小块,滑动得到的小块经过编纂成列向量组合形成新的矩阵aa1和bb1,大小都变成了64×

14641;

步骤(3)中,学习网络框架训练时,设置如下损失函数:

(i)

r 是第i个源图像X与其训练图像A1之间的残差图像, 是预测残差图像,也即框架的输出;其中, 和 分别表示两幅输入图像的特征矩阵,i取值为1到n,n代表批量训练图像的数量;

步骤(4),将测试图像数据输入到步骤(3)训练好的框架中进行训练之前,先对测试图像数据进行如下处理:(4.1)对测试集内的源图像使用下采样操作变成原来大小的二分之一和四分之一,将下采样后的图像用双三次插值法变成和源图像一样大小,将同一张源图像变成二分之一模糊测试图像A2和四分之一模糊测试图像B2,大小均为128×128;

(4.2)对两幅测试图像用滑动窗进行分块,采用的是大小为8×8且滑动步长为1的滑动小块,滑动得到的小块经过编纂成列向量组合形成新的矩阵aa2和bb2,大小都变成了64×

14641,作为两个分支同时输入深度学习网络框架;

步骤(5)将预测残差图像与相对应的测试图像依行依列相加得到最终的融合高分辨率图像,方法如下:将网络框架输出的残差图像与相对应的测试图像A2依行依列相加得到最终的融合高分辨率图像。

2.根据权利要求1所述的一种基于深度学习的图像融合重建方法,其特征在于,步骤(3)中,训练时,如果L小于预设的值,则停止训练。