1.一种超声图像标志物运动追踪方法,其特征是,包括:
将原始肿瘤超声图像通过注意力机制的全卷积神经网络进行深层特征的学习,得到区别于背景图像和噪声的肿瘤标志物特征信息,从而建立肿瘤标志物与深层图像特征的映射关系;
将不同时刻的原始肿瘤超声图像连续输入到卷积长短期记忆网络,利用该网络学习肿瘤标志物随时间变化的周期性运动规律;
用多层感知机对训练好的卷积长短期记忆网络计算的时间信号输入至注意力机制的全卷积神经网络,经过全卷积神经网络计算得到图像深层特征与肿瘤标志物的周期性运动规律的关系,得到目标的预测位置,获得肿瘤标志物运动预测模型;
对肿瘤标志物运动预测模型进行训练直至收敛;
将待测的肿瘤超声图像输入至训练好的肿瘤标志物运动预测模型中,获得待测的肿瘤超声图像的肿瘤标志物目标位置。
2.如权利要求1所述的一种超声图像标志物运动追踪方法,其特征是,所述注意力机制的全卷积神经网络使用1x1的卷积核对原始肿瘤超声图像进行特征融合并对特征纬度压缩后进行重组。
3.如权利要求1所述的一种超声图像标志物运动追踪方法,其特征是,注意力机制的全卷积神经网络用于提取包含图像目标的局部子区域,给定具有M行和N列的图像x,该注意力机制应用了m个列过滤器组 和n个行过滤器组 肿瘤目标的子区域计算如下:
其中,g是二维滤波器响应,应用二维滤波器从每个输入图像中提取的肿瘤目标,每个滤波器响应对应于肿瘤目标的一个像素。
4.如权利要求1所述的一种超声图像标志物运动追踪方法,其特征是,得到的肿瘤标志物图像,经过多层神经网络特征提取后,得到图像的深层特征信息,用于在多时间分辨率下建立图像深层特征与肿瘤标志物的周期性运动规律的关系。
5.如权利要求1所述的一种超声图像标志物运动追踪方法,其特征是,对模型进行训练时,利用包括边界框丢失,局部损失,显着性损失和自适应损失加权项的多任务损失来约束目标的总损失函数,并促进卷积长短期记忆网络和注意力机制的全卷积神经网络模型的训练收敛。
6.一种超声图像标志物运动追踪系统,其特征是,包括:
映射关系建立单元,将原始肿瘤超声图像通过注意力机制的全卷积神经网络进行深层特征的学习,得到区别于背景图像和噪声的肿瘤标志物特征信息,从而建立肿瘤标志物与深层图像特征的映射关系;
标志物运动规律学习单元,将不同时刻的原始肿瘤超声图像连续输入到卷积长短期记忆网络,利用该网络学习肿瘤标志物随时间变化的周期性运动规律;
模型建立单元,用多层感知机对训练好的卷积长短期记忆网络计算的时间信号输入至注意力机制的全卷积神经网络,经过全卷积神经网络计算得到图像深层特征与肿瘤标志物的周期性运动规律的关系,得到目标的预测位置,获得肿瘤标志物运动预测模型;
模型训练单元,对肿瘤标志物运动预测模型进行训练直至收敛;
预测追踪单元,将待测的肿瘤超声图像输入至训练好的肿瘤标志物运动预测模型中,获得待测的肿瘤超声图像的肿瘤标志物目标位置。
7.如权利要求6所述的一种超声图像标志物运动追踪系统,其特征是,所述映射关系建立单元中所用到的注意力机制的全卷积神经网络使用1x1的卷积核对原始肿瘤超声图像进行特征融合并对特征纬度压缩后进行重组。
8.如权利要求1所述的一种超声图像标志物运动追踪方法,其特征是,所述映射关系建立单元包括图像目标的局部子区域提取单元,用于注意力机制的全卷积神经网络用于提取包含图像目标的局部子区域,给定具有M行和N列的图像x,该注意力机制应用了m个列过滤器组 和n个行过滤器组 肿瘤目标的子区域计算如下:其中,g是二维滤波器响应,应用二维滤波器从每个输入图像中提取的肿瘤目标,每个滤波器响应对应于肿瘤目标的一个像素。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1-5任一所述的一种超声图像标志物运动追踪方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-5任一所述的一种超声图像标志物运动追踪方法。