1.一种手腕部参照骨分割方法,其包括以下步骤:
步骤1:采用Faster R-CNN进行参照骨的兴趣区域(Region of Interest,ROI)提取,并且采用各向异性扩散滤波对参照骨ROI图像进行预处理,具体包括:
11)使用LabelImg工具标注800张手腕部X光片图像作为训练集,标注出参照骨在X光图像中的左上角坐标、宽度和高度;将训练集放入Faster R-CNN中进行训练,一次性输入到网络中的图像为1张,迭代20次,基础学习率为0.001,每隔5次迭代基础学习率下降10倍;每次迭代结束,都会保存一个模型,采用第20次迭代结束的模型作为提取参照骨ROI的Faster R-CNN模型;
12)将待测X光片图像输入到Faster R-CNN网络中,并且加载11)中训练的模型,进行参照骨ROI的提取;首先,将手腕X光片图像输入到VGG16模型中得到共享卷积特征图;然后,采用RPN网络生成建议窗口,选取其中前景目标类得分最高的300个建议窗口,并将其映射到卷积特征图上;最后,ROI 池化层将每个候选区域生成固定尺寸的特征图,对候选区域进行分类,计算候选框的回归偏移量,提取出参照骨ROI图像;
13)对于提取出来的参照骨ROI图像,采用各向异性扩散滤波进行图像预处理,公式为:其中I为参照骨ROI图像,t为迭代次数,设置为2,I3为预处理后的图像,λ为平滑系数,设置为0.14,x为参照骨ROI图像的横坐标,y为参照骨ROI图像的纵坐标, 和分别为东南西北四个方向的梯度,公式如(2-2)所示,cE、cS、cW和cN分别为四个方向的扩散系数,公式如(2-3)所示;
其中k为热传导系数,k的值设置为30;
步骤2:将预处理后的参照骨ROI图像输入到ARU-Net进行分割,具体包括:
21)在使用LabelImg工具标注出训练集中参照骨的位置信息后,根据参照骨在X光片图像中的左上角坐标、宽度和高度,截取出参照骨ROI图像;采用LabelMe工具在参照骨ROI图像上标注出参照骨的轮廓作为ARU-Net的训练集;
22)构建ARU-Net神经网络,采用3次下采样、3次上采样,并且保留U-Net的特征层拼接方法;在下采样或者上采样之前,需要通过残差注意力模块进行特征的提取;
23)构建残差注意力模块,input作为图像的输入或者上一个模块的输出,经过两个卷积核大小为3的卷积层,在每个卷积层后面都会进入批量归一化层和ReLU激活函数,计算得到的特征图temp,公式如(2-4)所示;
temp=conv3(conv3(input)) (2-4)其中conv3为与3×3卷积核进行卷积运算、批量归一化和ReLU激活函数的串行计算;
在计算出经过两个卷积层的特征图temp后,首先,temp被分别输入到空间注意力模块和通道注意力模块中;然后,两个模块计算出的权重特征图与temp进行相乘得到通道注意力特征图和空间注意力特征图,由于input与注意力特征图的通道数目不同,所以需要将input的通道数目调整成与注意力特征图的通道数目一致;最后,将注意力的特征图与处理后的input进行相加,得到最后的输出,公式如(2-5)所示;
其中Fc为经过通道注意力模块后的处理操作,Fs为经过空间注意力模块后的处理操作,为逐元素乘法,conv1为与1×1卷积核进行卷积运算、批量归一化和ReLU激活函数的串行计算;
24)构建通道注意力模块;首先,将维度为h×w×c的temp分别输入到全局平均池化层和全局最大池化层中,得到两个维度为1×1×c的特征图;然后,将这两个特征图输入到共享卷积神经网络中,该卷积神经网络包含三个卷积层,其卷积核大小分别为1×1、3×3和1×1,其卷积核个数分别为c/16、c/16和c,最后计算出的结果为1×1×c的特征图;最后,两个特征图进行相加并且sigmoid函数运算后,即得到最后的通道权重特征图,其公式如(2-
6)所示;
其中average为经过平均池化层后的处理操作,max为经过最大池化层后的处理操作,s为sigmoid函数;
25)构建空间注意力模块;首先,将维度为h×w×c的temp分别输入到全局平均池化层和全局最大池化层中,得到两个维度为h×w×1的特征图;然后,将这两个特征图拼接起来,得到一个维度为h×w×2的特征图;最后,将该特征图输入到卷积层中,该卷积层的卷积核为3×3,卷积核个数为1,得到的特征图进行sigmoid函数运算后得到一个维度h×w×1的特征图,该特征图为空间权重特征图,其公式如(2-7)所示;
Fs(temp)=s(conv3(cat(average(temp),max(temp)))) (2-7)其中cat为拼接两个特征图的操作;
26)构建损失函数;采用的损失函数为二进制交叉熵损失函数(binary cross entropy loss,BCE Loss),其公式如(2-8)所示;
loss=-[truthlgpre+(1-truth)lg(1-pre)] (2-8)其中truth为真值,pre为预测值;
27)训练ARU-Net神经网络模型,一共迭代20次,基础学习率为0.1,每隔5次学习率下降
10倍,每次迭代结束保存一次模型,选择最后一次迭代的模型作为的ARU-Net模型;
28)将步骤1处理后的参照骨ROI图像I3输入到ARU-Net网络中,并且加载27)中训练的模型,进行参照骨的分割,得到分割后的图像I4;
步骤3:对分割后的参照骨ROI图像进行后处理操作,后处理操作依次为漫水填充算法和腐蚀与膨胀,具体包括:
31)针对分割后的图像I4,首先采用漫水填充算法将I4的背景由黑色填充成白色,其种子点设置为(0,0),填充的颜色设置为白色,得到洞孔图像,然后将洞孔图像取反与原始钩骨ROI图像相加,得到孔洞填充后的图像I5,公式为:I5=floodFill(I4)+I4 (2-9)其中floodFill为漫水填充算法函数;
32)对孔洞填充后的图像I5依次进行腐蚀和膨胀运算,内核设置均为5×5矩阵,得到最终的参照骨分割图像I6,公式为:I6=dilate(erode(I5)) (2-10)其中erode为腐蚀运算,dilate为膨胀运算。