1.一种基于深度学习的深度图像超分辨率重建方法,其特征在于,当上采样因子r=2时,训练整个网络,包括下列步骤:(1)从不同的深度图像公开数据集中分别选取102张的深度图像;(2)数据增强:将采集到的深度图像分别旋转90°、180°、270°,再按比例缩放0 .8、0 .9倍,增强之后图片数量增加到原来的12倍;(3)图片预处理:预处理分为两个部分,网络输入数据和数据标签;(4)深度卷积神经网络结构的设计:整个网络主要分为三个部分;第一部分为亚像素卷积神经网络;定义了卷积层,并加入了残差连接加快训练速度,学习从低分辨率深度图像到高分辨率深度图像的映射关系:第二部分为亚像素重建;将第一部分的网络输出的多路通道按照亚像素点位置进行组合,使其形成与高分辨率深度图像大小相等的单路通道输出,实现了超分辨率中的上采样;完成的这个功能的层命名为亚像素重建层;第三部分为非局部约束;对第二部分得到的亚像素重建层组合后的输出结果进行非局部约束,经过非局部约束后即可得到最终的高分辨率深度图像HR;步骤(4)具体的包括,整个网络主要分为三个部分;第一部分为亚像素卷积神经网络;定义了10层卷积层,并加入了残差连接加快训练速度,学习从低分辨率深度图像到高分辨率深度图像的映射关系:output1=F(D,{W,B})+D其中,D代表网络输入的原始低分辨率深度图像,output1表示网络输出,函数F即要学习的映射关系,W、B分别表示整个网络所训练得到的所有卷积层的权重和偏置,‘+D’表示残差连接;而各卷积层的输入输出关系可表示为:a[1]=g(w[1]*D+b[1])a[q]=g(w[q]*a[q‑1]+b[q])其中,*操作代表卷积运算,上标q表示第q层,D代表网络输入的原始低分辨率深度图像,a[q]表示第q层卷积层的输出,w[q]、b[q]分别表示第q层卷积层所学习到的权重和偏置,函数g表示激活函数;第二部分为亚像素重建;将第一部分的网络输出output1的多路通道按照亚像素点位置进行组合,使其形成与高分辨率深度图像大小相等的单路通道输出,实现了超分辨率中的上采样;完成的这个功能的层命名为亚像素重建层;HR1=ASS(output1)ASS即表示亚像素的组合,HR1为亚像素重建层组合后的输出结果;第三部分为非局部约束;对第二部分得到的HR1进行非局部约束,经过非局部约束后即可得到最终的高分辨率深度图像HR;这里以最小均方差作为损失函数:其中,LMSE表示最小均方差损失函数,N在这里表示样本数量,HR表示网络重建深度图像,HRtrue表示真实高分辨率深度图像;网络通过基于反向传播的梯度下降法来更新网络参数;步骤(4)中的非局部约束:根据经典非局部均值运算算法,定义非局部约束的泛化公式为:
其中,i为目标输出y的位置索引,j为在此运算中所有的位置索引的集合,x为输入特征映射,y为输出特征映射,且x和y的大小相同;函数f代表位置索引i和所有j之间的标量关系,一元函数g代表在位置索引j处特征映射x的表示值;C(x)为归一化系数;将函数g定义为线性嵌入形式:g(xj)=Wgxj其中,Wg为需要学习的权值矩阵;函数f定义为点乘式:f(xi,xj)=θ(xi)Tφ(xj)其中,θ(xi)=Wθxi,φ(xj)=Wφxj;Wθ、Wφ为需要学习的权值矩阵,i为泛化公式中目标输出y的位置索引,j为在此运算中所有的位置索引的集合,x为输入特征映射,上标T表示矩阵转置,此时归一化系数C(x)=M,为了简化梯度计算,M定义为输入特征映射x的位置数;(5)用步骤(2)中处理好的网络输入数据和数据标签对整个网络进行训练,训练完成后将低分辨率深度图像输入到训练好的网络模型中,在输出层输出完成超分辨率的深度图像。2.根据权利要求1所述的一种基于深度学习的深度图像超分辨率重建方法,其特征在于,步骤(3)包括以下步骤:(3.1)将步长设置为42,将增强后的深度图片分块成42*42大小的子图像块,后根据亚像素原理将其中处在不同亚像素组合位置的像素点分开,形成21*21大小的r×r=4路通道子图像块,将这些处理好的数据作为训练网络的数据标签,也就是真值;(3.2)对数据增强后的深度图片逐一进行下采样,得到低分辨率深度图像,接着将低分辨率图片进行分块处理,步长设置为21,将低分辨率深度图像分块成21*21大小的子图像块,之后将每个子图像块复制成4组以对应网络数据标签4路通道的子图像块,把这些数据作为网络输入数据。