欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021105432181
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-12-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于Siamese网络的异尺寸图像配准方法,其特征在于,所述方法包括以下步骤:(1)对选取的医学图像进行预处理操作,获得符合实验目的的图像数据集;

(2)根据步骤(1)中所获得的图像数据集,依据Siamese网络设计用于实现配准的网络模型,搭建网络配准框架,网络配准框架用于实现网络模型的训练,形成实现异尺寸的基本结构;

(3)根据步骤(2)所搭建的网络配准框架,依据所选取的图像数据集,选取均衡化的训练集和测试集,在搭建好的网络模型中进行训练,并将训练之后的网络模型进行测试,来验证网络模型的配准效果;

在所述步骤(2)中,基于异尺寸图像配准的网络配准框架的搭建包括以下步骤:

(2.1)下采样提取特征,Siamese网络的两个分支输入分别是待配准图像的固定图像和浮动图像,分别通过两个网络的特征提取获得对应的特征,分支网络都是下采样网络,用于提取底层特征;

(2.2)异特征融合,在步骤(2.1)中,下采样网络的卷积操作中,卷积层的输出形状由输入的形状和卷积核的形状确定,在某一层卷积层,假设输入的特征形状大小为nh×nw,卷积核大小为kh×kw,那么输出的特征形状大小(nh‑kh+1)×(nw‑kw+1),所以在这种情况下,应用了许多连续的卷积之后,得到比输入小得多的输出,并消除了原始图像边界上的任何有趣信息;Siamese网络由于分支网络具有相同的结构参数,所以输入图像不同,那么对于两个输出也会得到不同的特征大小,依据卷积神经网络的卷积层填充方法,对两个特征进行填充,使得特征形状大小一致,方便后面的拼接操作,采用了补零的填充方式对图像进行边界补充;

(2.3)端到端位移场输出,除了网络结构含有下采样网络之外,还需要上采样网络输出同等大小的可变形位移场,以实现端到端的网络配准,在网络中加入上采样网络,形成了U‑Net结构的模型,这种模型和原始用于识别和分类的Siamese网络不同,用于识别和分类的Siamese网络在下采样网络后计算损失函数,用于预测,分类;而加入上采样后,则是为了实现端到端的图像配准,称作Siamese U‑Net,上采样用于底层特征的恢复,并形成相应的位移矢量场,网络的跳连接只连接浮动图像输入对应的分支网络和上采样,而不连接固定图像和上采样,因为对于网络输出的位移矢量场来说,位移矢量场是与浮动图像作用的,浮动图像的特征信息和固定图像相比更加重要,固定图像是输入网络的参考信息,而浮动图像则是输入网络的主要信息,这和其他图像任务不同。

2.根据权利要求1所述的一种基于Siamese网络的异尺寸图像配准方法,其特征在于,在所述步骤(1)中,所述图像预处理操作用于获得所需图像数据集包括以下步骤:(1.1)为了解决不同图像之间的强度不均匀性,应用N4偏置场校正来校正所选配准图像;

(1.2)利用线性重采样对所有序列图像进行插值,统一所有序列图像的体素大小,依据待配准结构的图像位置信息,通过去除图像的外部边界,将同一模态的图像调整并裁剪成均匀的大小,不同模态图像之间的尺寸是不一致的,以便验证所搭建模型的有效性;

(1.3)将所有配准图像对依据中心轴切成两半,用来扩大训练数据量,作为训练之外的数据增强手段。

3.根据权利要求1或2所述的一种基于Siamese网络的异尺寸图像配准方法,其特征在于,在所述(2.2)中,其中利用填充实现异特征融合包含以下计算过程:(2.2.1)假设各个方向需要的填充量为NPx,NPy,NPz,那么获得这些值有如下关系式:NPx=[max(ai)‑min(ai)]×min(bi)×min(ci)

NPy=[max(bi)‑min(bi)]×min(ai)×min(ci)

NPz=[max(ci)‑min(ci)]×min(ai)×min(bi)

(2.2.2)对于三位特征空间,除了直接填充x,y,z三个方向之外,还需要填充斜对空间,设斜对空间的填充量为NPxyz,则有以下关系:NPxyz=[max(ai)‑min(ai)]×[max(bi)‑min(bi)]×[max(ci)‑min(ci)](2.2.3)最终通过运算获得了需填充总量:NPALL=NPx+NPy+NPz+NPxyz

式中i=1,2;通过计算获得各个图像不同的填充量,填充模块放置于下采样网络和上采样网络之间并没有放置于上采样网络输入之前进行填充。

4.根据权利要求1所述的一种基于Siamese网络的异尺寸图像配准方法,其特征在于,在所述(3)中,所述网络模型的训练和测试过程包括以下步骤:(3.1)数据输入,输入网络中的数据主要以配准图像对为主,除此之外,在网络输入中加入固定图像和浮动图像所对应的标签,作为一种辅助信息用以获得多模态图像中待配准解剖结构的位置,提高网络预测的准确性;

(3.2)损失函数计算,设计的基于Siamese网络的配准结构是一种弱监督配准框架,基于弱监督学习的配准框架损失函数由两部分组成:标签相似性Lls和正则项Lsmooth;

标签相似性用于测量固定图像标签和扭曲图像标签之间的相似性,使用dice相似系数作为损失函数计算标签之间的相似度,作为优化目标训练网络模型,该损失函数的公式表达如下:其中p代表预测的分割像素对应的二值标签,g代表ground truth像素对应的二值标签,该公式是将前景区域的同一类别所用像素作为一个集合关系去计算损失函数;

Lsmooth是位移矢量场的平滑度正则项,用于在训练中约束位移矢量场,使得网络获得合理的输出,公式如下:公式中,Ω代表了位移矢量场空间域,为Ω中每个体素P所对应的位移矢量,所以正则项本质是对矢量场的每一点进行梯度运算,最终获得了损失函数如下:L=Lls+αLsmooth

其中,α是正则化参数,用以调整正则项的影响程度;

(3.3)调用模型配准,虽然训练图像需要手动注释的解剖结构标签,然而在配准测试阶段,只需要待配准图像对即可,通过输入待配准图像对,用于激活训练好的模型参数,用来预测两图像的位移矢量场,这被称为建立密集的对应映射关系,利用位移矢量场将浮动图像通过空间重采样来获得所需的扭曲图像,获得已经配准好的图像,这意味着相同的解剖结构在相同的空间位置,通过网络输出映射作用下进行了对齐。