1.一种光场图像角度超分辨率重建方法,包括以下步骤:
(1)将低角度分辨率光场图像的子孔径图像阵列从RGB空间转换到YUV空间,并提取所述子孔径图像阵列的Y通道信息;
(2)构建步骤(1)所得低角度分辨率光场图像的子孔径图像阵列Y通道信息的金字塔结构;
(3)将获取的所述子孔径图像阵列Y通道信息的金字塔结构送入到光场图像角度超分辨率网络,获得粗的高角度分辨率子孔径图像阵列Y通道信息;
(4)将获取的所述粗高角度分辨率子孔径阵列图像Y通道信息送入到纹理修复网络,获得高角度分辨率子孔径图像阵列Y通道残差信息;
(5)将步骤(3)获得的粗的高角度分辨率子孔径图像阵列Y通道信息与步骤(4)获得的高角度分辨率子孔径图像阵列Y通道残差信息相加获得最终高角度分辨率子孔径图像阵列;并对步骤(1)所述低角度分辨率光场图像的子孔径图像阵列的U和V通道信息进行双线性上采样处理,获得最终高角度分辨率子孔径图像阵列U和V通道信息;
(6)将所述最终高角度分辨率子孔径图像阵列Y通道信息与最终高角度分辨率子孔径图像阵列U和V通道信息进行合并,并将合并后的数据转化到RGB空间,获得最终高角度分辨率子孔径图像阵列;
所述步骤(3)具体计算过程如下:
根据所述的低角度分辨率子孔径阵列图像金字塔结构 ,构建光场图像角度超分辨率网络;
所述光场图像角度超分辨率网络包括两个模块,分别为特征提取模块以及角度超分辨模块;其中,特征提取模块包含 层,m和n为从光场图像中提取低角度分辨率子孔径阵列图像的水平和垂直方向角度分辨率大小;其中,前 层为对所述金字塔结构 中 层进行特征提取,获取 个高维特征向量,所用卷积核大小为 ,步长为1,填充值为1;随后的 层为对获取的所述高维特征的前 个特征进行反卷积操作,统一所有高维特征的维度;最后一层为sum层,是将所述统一维度的 个高维特征向量进行相加,获得相加后的高维特征向量;
所述角度超分辨模块包含 层,L为冗余卷积子模块的个数;其中,前层为 个冗余卷积子模块,每个冗余卷积子模块包含2个卷积层,一个LeakyReLU激励层和一个sum层,其中所述卷积层的卷积核大小为 ,步长为1,填充值为1;所述角度超分辨模块的后面 层为超分辨率子模块,包含 个卷积层以及 个LeakyReLU激励层,其中所述卷积层的卷积核大小为 ,步长为2,填充值为0。
2.如权利要求1所述的光场图像角度超分辨率重建方法,其特征在于:所述步骤(1)具体计算过程如下:从光场图像中提取低角度分辨率的子孔径阵列图像I,其维度为w×h×3×m×n,其中w×h为子孔径阵列图像I中单个子孔径图像的两个空间分辨率,m×n为子孔径阵列图像I的两个角度分辨率,3为RGB三个通道;将所述的低角度分辨率的子孔径阵列图像I从RGB空间转换到YUV空间;然后提取Y通道信息 ,其维度为w×h×m×n。
3.如权利要求1所述的光场图像角度超分辨率重建方法,其特征在于:所述步骤(2)具体计算过程如下:首先对步骤(1)获取的低角度分辨率的子孔径阵列图像Y通道信息 进行降低维度处理,将四维的所述低角度分辨率子孔径阵列图像Y通道信息 的两个角度维度m×n进行合并,获得三维子孔径阵列图像 ,其维度为 ;根据所述的三维子孔径阵列图像 ,构建低角度分辨率子孔径阵列图像的金字塔结构,其中 的维度为 ;构建的所述
金字塔结构共有 层。
4.如权利要求1所述的光场图像角度超分辨率重建方法,其特征在于:所述步骤(4)具体计算过程如下:将所述获取的粗高角度分辨率子孔径阵列图像的维度进行重新排列,从重新排列为 ;其中,M×N为高角度分辨率子孔径阵列图
像的角度维度;然后将所述重新排列后的粗高角度分辨率子孔径阵列图像输入到纹理修复网络;所述纹理修复网络共有 层,包含 个卷积层以及 个LeakyReLU激励层,其中所述卷积层的卷积核大小为 ,步长为2,填充值为0。