1.一种基于深度学习的变长输入超分辨率视频重建方法,其特征在于,包括以下步骤:步骤1,构建随机长度的训练样本,获取训练集;
步骤2,建立超分辨率视频重建网络模型:包含依次连接的特征提取器、渐对齐融合模块、深度残差模块和叠加模块;
步骤3,采用训练集对超分辨率视频重建网络模型进行训练,得到训练后的超分辨率视频重建网络;
所述采用训练集对超分辨率视频重建网络模型进行训练,具体步骤为:
3.1,给定最大训练次数,初始化超分辨率视频重建网络模型参数;
1 t k
3.2,采用特征提取器对输入图像序列(I ,...,I ,...,I)中的每个图像进行特征提
1 t k
取,得到对应的特征图像序列(F,...,F,...,F);
其中,t为目标帧,k为输入图像序列的长度;输入图像序列为训练样本;
3.3,采用渐对齐融合模块对特征图像序列进行渐对齐特征融合,得到对齐融合后的特征图像;
3.4,采用深度残差模块对对齐融合后的特征图像进行非线性映射,得到映射后的特征图像;
3.5,通过亚像素卷积将映射后的特征图像进行尺寸放大,得到目标尺寸的特征图像;
3.6,通过上采样将原始目标帧图像进行尺寸放大,得到目标尺寸的原始图像;
3.7,采用叠加模块将目标尺寸的特征图像与目标尺寸的原始图像进行叠加,得到目标帧的重建图像;
3.8,对超分辨率视频重建网络模型的参数进行优化更新;
对于每个输入图像序列,重复步骤3.2‑3.8,直至达到最大训练次数;
所述采用渐对齐融合模块对特征图像序列进行渐对齐特征融合,具体为:l
首先,对于目标帧左侧的特征图像序列:令F为目标帧左侧特征图像;从最左端特征图
1 1 2
像F开始,将第一帧特征图像F对齐到第二帧特征图像F ,再将对齐后的第一帧特征图像和
2′ l 2′ 2′
第二帧特征图像进行融合,得到融合后的特征图像F ,令F =F ;将融合后的特征图像F
3 3′ l 3′ t‑1 l t‑1′对齐至第三帧特征图像F,再融合,对应得到F ,令F=F ;依次类推,直至F ,则F=F ;
r
其次,对于目标帧右侧的特征图像序列:令F为目标帧右侧特征图像;从最右端特征图k k k‑1像F开始,将最后一帧特征图像F对齐到倒数第二帧特征图像F ,再将对齐后的两帧特征k‑1′ r k‑1′ k‑1′图像进行融合,得到融合后的特征图像F ,令F=F ;将融合后的特征图像F 对齐至k‑2 k‑2′ r k‑2′ t+1 r t倒数第三帧特征图像F ,再融合,对应得到F ,令F =F ;依次类推,直至F ,则F=F+1′;
l t r
最后,使用将目标帧左侧特征图像F、目标帧特征图像F 和目标帧右侧特征图像F进行融合,得到对齐融合后的特征图像;
步骤4,将待处理视频顺序输入训练后的超分辨率视频重建网络进行视频重建,得到对应的超分辨率重建视频;
其中,所述待处理视频的每次输入图像序列的长度为自定义。
2.根据权利要求1所述的基于深度学习的变长输入超分辨率视频重建方法,其特征在于,所述构建随机长度的训练样本为:首先,给定输入序列长度K,K>0;选取数据集;
其次,给定待重建的目标帧;
最后,选择目标帧左侧的x帧图像和目标帧右侧的K‑1‑x帧图像,按照从左到右顺序排列K帧图像,得到输入图像序列;
其中,x为通过均匀分布随机得到的整数,x=0,1,...,K‑1。
3.根据权利要求1所述的基于深度学习的变长输入超分辨率视频重建方法,其特征在于,所述获取训练集为:首先,对每个原始训练样本使用随机水平翻转和旋转,得到空间变换训练样本;
其次,引入间隔变量T,T>1,以T为采样间隔获取输入序列长度的输入图像序列,以模拟低采集帧率或移动快的运动目标,得到时间增强训练样本;
最后,由原始训练样本、空间变换训练样本和时间增强训练样本共同组成训练集。
4.根据权利要求1所述的基于深度学习的变长输入超分辨率视频重建方法,其特征在
1 2 1
于,所述将第一帧特征图像F 对齐到第二帧特征图像F ,具体为:设定第一帧特征图像F 与2
第二帧特征图像F 的尺寸分别为W×H×C,其中,W是特征图的宽度,H是特征图的高度,C是特征图的通道数;
1 2
首先,将第一帧特征图像F与第二帧特征图像F在通道方向上进行连接,得到W×H×2C的连接矩阵;
其次,使用多个卷积层对连接矩阵进行映射处理和通道数变换,得到W×H×C的权重矩阵;
1 1 2
最后,将权重矩阵通过对位乘法加权到F,完成F对齐到F的操作。
5.根据权利要求1所述的基于深度学习的变长输入超分辨率视频重建方法,其特征在于,将多个特征图像进行融合,其具体为:(a)将M个待融合特征图像通过对位元素相加进行初步融合,得到初步融合矩阵U:其中,Ui表示第i个待融合特征图像;
(b)对初步融合矩阵U进行全局平均池化,得到池化后结果s,其中,sc表示池化后结果s的第c个通道的特征矩阵;Uc表示初步融合矩阵U的第c个通道的特征矩阵;Uc(m,n)表示矩阵Uc的任一像素点(m,n)处的像素值;
(c)使用两个全连接层建立特征图各通道间的相关性模型:z=W2·(δ(W1·U))
其中,W1表示第一个全连接层的权重,W2表示第二个全连接层的权重,δ表示ReLU激活函数;
(d)使用1×1的卷积层建立特征矩阵在空间维度上的内部相关性:vi=CNN1×1(W3,Ui)
其中,CNN1×1(·)表示卷积核为1×1的卷积层;W3表示卷积层的权重矩阵;
(e)计算特征矩阵总的相关性{ai},ai=vi·z
(f)使用sigmoid函数对{ai}进行重标定,得到总权重向量{bi}:其中,j=1,2,...,M;(m,n,c)表示某一像素点的位置坐标;bi,m,n,c表示第i个待融合特征图像的像素点(m,n,c)处的权重;
(g)将总权重向量{bi}与对应的待融合特征图像{Ui}对位相乘后相加,得到融合后结果其中,⊙表示对位元素相乘。
6.根据权利要求1所述的基于深度学习的变长输入超分辨率视频重建方法,其特征在于,所述深度残差模块采用多个改进的残差模块堆叠而成。
7.根据权利要求6所述的基于深度学习的变长输入超分辨率视频重建方法,其特征在于,所述改进的残差模块包含四个卷积层,其中,输入通道数设定为C,第一个卷积层的卷积核大小为1×1,通道数为6×C;第二个卷积层的卷积核大小为1×1,通道数为C/2;第三个卷积层的卷积核大小为3×3,通道数为C/2;第四个卷积层的卷积核大小为1×1,通道数为C。