1.基于协方差自注意力机制的双路径UNet网络肿瘤分割方法,其特征在于:主要包括基本X模块、底部模块、下采样模块和上采样模块,所述基本X模块、底部模块、下采样模块和上采样模块均是用于增加表示能力的残差结构;所述基本X模块包括输入层、两个BN+ReLU层、两个3×3步长为1的卷积层和输出层,BN+ReLU层和卷积层相互交叉设置,输入层和输出层特征图大小相同;所述底部模块与基本X模块相同;所述下采样模块包括输入层、两个BN+ReLU层、一个3×3步长为2的卷积层、一个3×3步长为1的卷积层和输出层,BN+ReLU层和卷积层相互交叉设置,采用一个1×1步长为2的卷积替换残差连接;所述上采样模块包括输入层、一个上采样块、一个3×3步长为2的反卷积层和输出层,上采样模块采用反卷积运算用以替换原始残差连接;所述底部模块设置于底层,其上设置有多个基本块X模块,由上层的基本块X模块向下层的基本块X模块至底部模块进行下采样运算操作,由底部模块向上层的基本块X模块进行上采样运算操作;
所述上采样模块还包括协方差自注意力模块,协方差自注意力模块嵌入上采样块后;
所述底部模块上仅在协方差自注意力模块上应用残差连接;
所述协方差自注意力模块首先将输入特征为 通过三个1×1的卷积运算分别生成的三个特征图Q、K和V,其中 和 dq,dk和dv分别表
示Q,K和V的通道数,取dq=dk,且dq,dk和dv均小于d;
自注意力特征图 通过特征图Q和K的相关性生成,在特征图Q的空间维度中每个像素位置u,可得到 在特征图K中每个对应空间位置u的相关性计算方法为:其中Ki,u是 第i个元素, 表示Qu向量的均值, 表示Ki,u向量的均值,i=[1,2,…,h+w‑1],Ci,u表示特征图Qu和Ki,u之间的相关性矩阵,然后通过C计算自注意力特征图SA:
SAi,u=softmax(Ci,u) (2)
每个位置u的空间维度上,由 获得十字交叉集合 通过
像素之间的长距离信息相关性融合:
其中Hu输出特征图在位置u的特征向量,SAi,u是SA的通道i和位置u的标量值。