1.一种基于深度颜色迁移的医学图像着色方法,其特征在于,包括以下步骤:
1)、获取原始医学图像,并将原始医学图像缩小成一张固定大小的图像作为输入到神经网络中的目标图像,并初始化一张初始图像用作网络迭代更新的对象,通过K均值聚类算法得到参考图像和目标图像的分割图像用作后续构建颜色损失函数,通过人为手动选择一张彩色的图像作为参考图像,原始图像为需要着色的灰度医学图像;目标图像与原始图像内容一致但大小不一;参考图像为更新初始图像提供颜色参考;经过网络更新初始图像最终得到输出图像与目标图像的纹理结构保持一致;
2)、将初始图像、参考图像和目标图像输入到深度神经网络中,通过深度神经网络其中的六层卷积层分别提取目标图像、参考图像和初始图像的深度特征;
3)、利用提取的深度特征构建总损失项,总损失项通过利用内容损失和纹理细节损失来约束图像内容纹理,和利用空间关系损失和颜色损失来约束图像颜色,总损失包括内容损失、颜色损失、空间关系损失及纹理细节损失;
4)、通过损失函数的梯度公式,根据误差反向传播算法求得总损失关于初始图像的梯度,然后通过基于梯度的优化方法对深度神经网络进行优化,迭代更新初始图像;
5)、对最终输出的初始图像进行图像放大到与原始医学图像大小,并转换到YUV颜色空间,将原始医学图像也转换到YUV颜色空间;
6)、提取原始医学图像Y通道的值,以及输出的初始图像的UV通道的值,结合Y通道和UV通道的值得到一张彩色的医学图像,并转换到RGB颜色空间;
所述步骤4)通过各个损失函数的梯度公式:
和误差反向传播算法求得总损失
关于初始图像的梯度,利用该梯度迭代更新图像 为求偏导的符号,η为学习率,误差反向传播算法主要步骤是根据神经网络的输出与真实输出之间的误差,利用链式法则从输出到输入逐层求导,逐层更新网络参数;i代表第i个滤波器,j代表滤波器上第j个位置;
Lc表示内容损失函数,Nl代表第l层滤波器的个数,Dl代表第l层特征图的大小;
表示第l层卷积层的颜色损失,C表示语义分割掩码的通道数,c表示第c通道的语义分割掩码,Gl,c[O],Gl,c[S]分别表示图像O和S在第l层卷积层的特征图经过第c通道的语义分割掩码处理后计算出来的gram矩阵,Ml,c[I]表示图像I第l层的第c通道的分割掩码;
l
F[O]代表着输出图像在第l层的特征图,Lcolor_swap表示损失函数, 代表着第l层的匹配后的特征图;LY表示纹理细节损失,D代表特征图的大小,IY,OY代表目标图像I和输出图像O在YUV空间中的Y通道上的特征值即亮度值。
2.根据权利要求1所述的一种基于深度颜色迁移的医学图像着色方法,其特征在于,所述步骤1)将目标图像和参考图像统一处理成分辨率为224*224的图像,并且通过K均值聚类算法得到参考图像和目标图像的分割图像。
3.根据权利要求1所述的一种基于深度颜色迁移的医学图像着色方法,其特征在于,所述深度神经网络的六层卷积层分别是第1层卷积层、第3层卷积层、第5层卷积层、第9层卷积层、第10层卷积层、第13层卷积层。
4.根据权利要求1所述的一种基于深度颜色迁移的医学图像着色方法,其特征在于,所述步骤3)的内容损失是通过使用目标图像I和初始图像O的第10层卷积层提取的深度特征构造的,具体公式为: 其中Lc表示内容损失函数,Fl[O]表示初始图像O在第l层的特征矩阵,Fl[I]图像I在第l层的特征矩阵,Nl代表第l层滤波器的个数,Dl代表特征图的大小;i代表第i个滤波器,j代表滤波器上第j个位置。
5.根据权利要求4所述的一种基于深度颜色迁移的医学图像着色方法,其特征在于,所述步骤3)的颜色损失是通过提取参考图像S和初始图像I在深度神经网络上第1层卷积层、第3层卷积层、第5层卷积层、第9层卷积层和第13层卷积层的上的特征图进行构建,具体的公式如下:l
Fl,c[O]=F[O]Ml,c[I]
l
Fl,c[S]=F[S]Ml,c[S]
其中, 表示第l层卷积层的颜色损失,Nl表示第l层卷积层的滤波器个数,C表示语义分割掩码的通道数,c表示第c通道的语义分割掩码,Gl,c[O],Gl,c[S]分别表示图像O和S在第l层卷积层的特征图经过第c通道的语义分割掩码处理后计算出来的gram矩阵,表示第l卷积层得到的特征矩阵,Dl表示特征图的大小,Fl,c[O]、Fl,c[S]分别表示图像O和S在第l层卷积层提取的特征图在被第c通道的语义分割掩码处理后的特征矩阵,Ml,c[I]、Ml,c[S]分别图像I和S第l层的第c通道的分割掩码,通过下采样分割编码来适应每一层特征矩阵的大小,Gram矩阵 是矢量特征矩阵的内积。
6.根据权利要求5所述的一种基于深度颜色迁移的医学图像着色方法,其特征在于,所述空间关系损失用于保持像素之间的空间关系,通过使用块对于块的匹配将目标图像中的块用风格图像的块来替换,以此来保持像素之间的空间关系;首先提取目标图像和参考图像的3、4、5层特征,分别记为 对于参考图像和目标图像每一层特征图分别划分成3x3大小的图像块,记为 nc,ns分别是参考图像和目标图像的块数,k,m为块数索引;对于目标图像上的每一个块通过卷积操作找到其最匹配的块,为块k的最近邻匹配块,用此代替Fk(I),将整个目标图像的特征图替换后的结果记作 对于初始图像训练的过程中,希望图像每个像素的颜色特征尽可能的与参考图像一致,并且局部特征也保持一致,所以损失函数定义为如下公式:l
其中, F[O]代表着输出图像在第l层的特征图,
代表着第l层的匹配后的特征图,N代表该层所有的像素点个数,i代表第i个滤波器,j代表滤波器上第j个位置。
7.根据权利要求4所述的一种基于深度颜色迁移的医学图像着色方法,其特征在于,所述纹理细节损失是用来维持更新初始图像的过程中保持图像的纹理结构与目标图像的纹理结构一致,通过初始图像和目标图像的Y通道的值之间的差异来构建,具体公式如下:其中,D代表特征图的大小,IY,OY代表目标图像I和输出图像O在YUV空间中的Y通道上的特征值即亮度值。
8.根据权利要求1所述的一种基于深度颜色迁移的医学图像着色方法,其特征在于,所述步骤4)基于梯度的优化方法对深度神经网络进行优化采用的是L‑BFGS‑B,即限制内存的BFGS,其是在BFGS(Broyden‑Fletcher‑Goldfarb‑Shanno)算法的基础上进行优化得到的一种求解具有简单边界的大型非线性优化问题的限制内存的算法,L‑BFGS‑B与BFGS算法的主要不同之处在于Hessian矩阵的替代矩阵不用,L‑BFGS‑B算法在迭代过程中用L‑BFGS来确定近似替代矩阵,L‑BFGS‑B算法每次迭代的过程会更新的替代矩阵,其求解过程如下:1)先利用限制内存矩阵定义目标函数的近似二次模型;2)计算搜索方向;3)用线性搜索方法沿着确定的搜索方向进行搜索求解获得新的迭代值。