1.一种基于全卷积神经网络单张图像的超分辨率图像重建方法,其特征在于由以下步骤组成:(1)对采集的图像进行分割
获取不少于200张彩色图像,按照3:1的比例分割出训练数据集图像和测试集图像;
(2)制作网络训练集和测试集图像进行预处理
使用数据增强方法扩充训练数据集图像并制作网络训练集,并对测试集图像进行预处理;
该步骤中,数据增强方法扩充训练数据集图像并制作网络训练集的步骤为:
1)对训练数据集图像中的所有图像依次顺时针旋转90°、180°、270°,将每次旋转得到的旋转图像加入训练数据集图像中;
2)对训练数据集图像中所有图像进行水平翻转;
3)对训练数据集图像中所有图像从红、绿、蓝色彩空间,转为亮度、蓝色色度、红色色度空间,提取出亮度,从亮度中切割出16~64×16~64的像素块;
4)对每个像素块分别进行2倍、3倍、4倍双三次插值下采样,将下采样的结果再用相同的倍数上采样,恢复到原尺寸,所得到的结果为网络模型的输入,原来的像素块为网络模型的输出,得到训练集;
该步骤中,对测试集图像进行预处理步骤为:
对所有测试集图像从红、绿、蓝色彩空间,转为亮度、蓝色色度、红色色度色彩空间,提取出亮度作为测试集;
(3)构建全卷积神经网络
全卷积神经网络包含原始图像特征提取模块、特征高维映射模块、残差提取模块,特征提取模块的输出与特征高维映射模块的输入相连,特征高维映射模块的输出与残差提取模块的输入相连,构建成全卷积神经网络;
(4)训练全卷积神经网络
将步骤(2)中得到的训练集输入步骤(3)构建的全卷积神经网络中,用动态调整网络模型的学习率进行训练,得到训练好的全卷积神经网络;
上述的动态调整网络模型的学习率进行训练为:用均方误差作为损失函数,每遍历
10000个样本为一代,每过10代学习率降为当前的0.1,迭代次数为100代;
(5)重建测试集图像的超分辨率图像
将步骤(2)得到的测试集输入步骤(4)中训练好的全卷积神经网络,得到网络输出,根据网络输出重建出测试集图像的超分辨率图像;
该步骤中,根据网络输出重建出测试集图像的超分辨率图像为:把测试集图像的色彩空间从红、绿、蓝转为亮度、蓝色色度、红色色度,用全卷积神经网络的对应输出替换原测试集图像的亮度层,把图像色彩空间从亮度、蓝色色度、红色色度,转回红、绿、蓝,得到基于全卷积网络的单张超分辨率图像。
2.根据权利要求1所述的基于全卷积神经网络单张图像的超分辨率图像重建方法,其特征在于在构建全卷积神经网络步骤(3)中,所述的原始图像特征提取模块为:第一联接线性整流单元的输出与第一压缩激励单元的输入相连,第一压缩激励单元的输出与第二联接线性整流单元的输入相连,第二联接线性整流单元的输出与第二压缩激励单元的输入相连,构建成原始图像特征提取模块;
所述的特征高维映射模块为下式:
xn=[xn-1,C(xn-1)]
式中C为胶囊模块,xn-1为第n-1个胶囊模块的输入,C(xn-1)为第n-1个胶囊模块的输出,x0为原始图像特征提取模块的输出,xn为特征高维映射模块的输出,n为胶囊模块的个数,取值为有限的正整数;
所述的残差提取模块如下:
1)提取原始特征残差
将特征高维映射模块的输出用一层卷积核大小为128×1×1的卷积层降维到与原始图像特征提取模块的输出相同维度,得到原始特征残差;
2)提取全局残差
将原始特征残差与原始图像特征提取模块的输出相加,用一层卷积核大小为1×3×3的卷积层降维到与全卷积神经网络的输入相同维度,得到全局残差;
3)构建残差提取模块
将全局残差与全卷积神经网络的输入相加,构建成残差提取模块。
3.根据权利要求2所述的基于全卷积神经网络单张图像的超分辨率图像重建方法,其特征在于在构建全卷积神经网络步骤(3)中,所述的胶囊模块为:第一卷积单元的输出与第二卷积单元的输入相连,第二卷积单元的输出与第三卷积单元的输入相连,第三卷积单元的输出与第三压缩激励单元的输入相连。
4.根据权利要求3所述的基于全卷积神经网络单张图像的超分辨率图像重建方法,其特征在于:在构建全卷积神经网络步骤(3)中,所述的第一卷积单元由批量正则层、线性整流单元层、卷积层组成,批量正则层的输出与线性整流单元层的输入相连,线性整流单元层输出与卷积层的输入相连,第二卷积单元、第三卷积单元与第一卷积单元的结构相同。
5.根据权利要求2所述的基于全卷积神经网络单张图像的超分辨率图像重建方法,其特征在于:在构建全卷积神经网络步骤(3)中,所述的第一联接线性整流单元中卷积核大小为64×3×3,偏移量为1,第二联接线性整流单元与第一联接线性整流单元相同。
6.根据权利要求2所述的基于全卷积神经网络单张图像的超分辨率图像重建方法,其特征在于:在构建全卷积神经网络步骤(3)中,所述的第一压缩激励单元由全局平均池化层、第一全连接层、第二全连接层、Sigmoid激活层组成,全局平均池化层的输出维度为128×1×1,第一全连接层的输出维度为8×1×1,第二全连接层的输出维度为128×1×1,Sigmoid激活层的输出维度为128×1×1,全局平均池化层的输出与第一全连接层的输入相连,第一全连接层的输出与第二全连接层的输入相连,第二全连接层的输出与Sigmoid激活层的输入相连;所述的第二压缩激励单元与第一压缩激励单元相同。
7.根据权利要求3所述的基于全卷积神经网络单张图像的超分辨率图像重建方法,其特征在于:在构建全卷积神经网络步骤(3)中,所述的第三压缩激励单元由全局平均池化层、第一全连接层、第二全连接层、Sigmoid激活层组成,全局平均池化层的输出维度为128×1×1,第一全连接层的输出维度为8×1×1,第二全连接层的输出维度为128×1×1,Sigmoid激活层的输出维度为128×1×1,全局平均池化层的输出与第一全连接层的输入相连,第一全连接层的输出与第二全连接层的输入相连,第二全连接层的输出与Sigmoid激活层的输入相连。
8.根据权利要求3或4所述的基于全卷积神经网络单张图像的超分辨率图像重建方法,其特征在于:在构建全卷积神经网络步骤(3)中,所述的胶囊模块的第一卷积单元、第二卷积单元、第三卷积单元的卷积核大小分别为128×1×1、128×3×3、128×3×3。