1.一种结合马尔科夫场和格拉姆矩阵特征的医学类图像风格迁移方法,其特征在于,包括以下步骤:
1)将目标图像和参考图像调整为相同的尺寸大小,然后通过自动语义分割模块分别获取各自对应的语义分割映射;
2)利用计算目标图像的拉普拉斯矩阵,构建仿射损失函数,约束图像纹理结构;所述仿射损失函数为
MI为目标图像的拉普拉斯矩阵,O为生成图像,定义Vc[O]为生成图像O在每个通道c上的向量化;
3)设置一张与目标图像相同的初始化图像,将所述初始化图像、步骤1)中的参考图像和目标图像输入到深度神经网络中提取多个卷积层的深度特征,通过迭代聚合不同层提取的特征,深度神经网络为进行微调后的VGG19网络,从浅层至深层提取了特征,在聚合不同层的特征之前,先将它们重调整成相同的大小,迭代聚合过程 如下:i
从i层提取特征记为F ,其中 表示不同特征聚合过程, 表示下采样重新调整大小过程;
4)利用提取的深度特征构建总损失约束项,包括对内容纹理的约束和对风格的约束,所述总损失约束项包括内容损失函数、局部风格损失函数、全局风格损失函数和仿射损失函数;
所述内容损失函数通过目标图像I和生成图像O的深度特征构造均方误差损失实现,N是特征映射数量,D是融合特征的尺寸,其具体公式为:
4 4
F[O],F[I]分别表示生成图像O和目标图像I的深度特征,ij表示第i个特征上的第j个位置;
所述全局风格损失函数通过格拉姆矩阵计算生成图像和参考图像之间的特征图相关性,通过度量二者之间的差异来把握图像的全局风格,其中S是参考图像,格拉姆矩阵Gx[O]、Gs[S]分别由生成图像和参考图像聚合后的特征内积计算得到,全局风格损失Lglobal具体公式为:
所述局部风格损失函数引入马尔科夫随机场与深度神经网络结合,用特征映射来表现图像局部关系,通过特征块之间的匹配将原图像特征图中的特征块用参考图像特征图中的特征块代替,以此来表现图像局部之间的空间关系,分别从目标图像和生成图像获取聚合后的特征Fus、Fux,再将它们与通过自动语义分割模块得到的目标图像的语义分割图像Sseg和参考图像的语义分割图像Cseg相连接得到Mx、Ma,对Mx、Ma分别提取3×3×d大小的局部特征块,3×3是特征尺寸,d是特征图通道数,提取出的特征块列表分别由Φ(Mx)、Φ(Ma)表示,m是Φ(Ma)的个数,局部风格损失Llocal如下:通过归一化互相关在ms个参考特征块中,每个特征块Φi(Mx)都能找到与之最匹配的特征块NN(i),其表示如下:
5)通过总损失函数的梯度,根据误差反向传播算法求得总损失关于步骤3)中初始化图像的梯度,然后通过基于梯度的优化方法对深度神经网络进行优化,迭代更新初始化图像从而得到生成图像。
2.根据权利要求1所述一种结合马尔科夫场和格拉姆矩阵特征的医学类图像风格迁移方法,其特征在于:步骤1)所述自动语义分割模块采用的是预训练的HRNetV2网络。
3.根据权利要求1所述一种结合马尔科夫场和格拉姆矩阵特征的医学类图像风格迁移方法,其特征在于:步骤2)所述约束图像纹理结构包括,在颜色空间中通过约束局部仿射来约束图像变换,在迁移过程中,对于每一个颜色块,都存在仿射函数将图像的RGB颜色空间值映射输入到其对应输出的位置。
4.根据权利要求1所述一种结合马尔科夫场和格拉姆矩阵特征的医学类图像风格迁移方法,其特征在于:步骤5)所述基于梯度的优化方法为L‑BFGS优化方法。