1.一种基于非局部信息的三维卷积神经网络的皮下汗腺提取方法,其特征在于,所述方法包括如下步骤:
1)获取采集的分辨率为W*H的OCT指纹切片图,对每张指纹切片图进行汗腺手工标注,将OCT上扫描连续的N张的指纹切片图整合成W*H*N的三维数据,经过图像增强,数据量增广后作为网络训练数据集;
2)构建基于非局部信息的三维卷积神经网络模型,设定训练参数和损失函数,使用标注好的数据集训练神经网络的模型,得到训练好的三维卷积神经网络模型;
3)通过训练好的三维卷积神经网络预测测试集中的三维OCT指纹,初步得到三维皮下汗腺体图像;
4)利用汗腺体的大小的一定规律和汗腺体只存在于汗腺层,因而汗腺体上下端的位置偏差不会太大的特性从初步的三维汗腺体图像中筛选并去除伪汗腺体。
2.如权利要求1所述的一种基于非局部信息的三维卷积神经网络的皮下汗腺提取方法,其特征在于,所述步骤1)中,指纹数据图像增强和增广过程中包括如下步骤:(11)图像增强:将三维OCT指纹图像I进行归一化操作,归一化操作形式如下:
其中I代表指纹图像,图像分辨率为W*H*N,I(x,y,z)表示三维数据的坐标为(x,y,z)的像素的灰度值,min(I)和max(I)代表指纹图像矩阵中像素灰度值的最小值和最大值,I*代表归一化后的指纹图像;
(12)从增强后的三维数据中,从(0,0,0)位置开始,步长为50像素,依次截取100*100*
100的指纹数据;
(13)将100*100*100的指纹图像绕y轴旋转90度,180度,270度得到新的三维指纹图像。
3.如权利要求1或2所述的一种基于非局部信息的三维卷积神经网络的皮下汗腺提取方法,其特征在于,所述步骤2)包括如下步骤:(21)构建一个基于非局部信息的三维卷积神经网络模型,整个神经网络模型的层包括七个部分:
第一部分由三个卷积层组成,前两个卷积层均由16个大小为5*5*5,步长为1的卷积核和RELU激活函数组成,第三个卷积层由16个大小为2*2*2,步长为2的卷积核和RELU激活函数组成,输入特征的大小为100*100*100*1,经过前两个卷积层处理后,输出特征大小为
100*100*100*16;经过第三个卷积层处理,输出特征大小为50*50*50*16;
第二部分为了计算像素之间的相似性,获得非局部信息,由softmax函数一个残差层组成,输入特征大小为50*50*50*16,经过reshape处理后变成大小为125000*16,将reshape得到的125000*16的图像与转置后大小为16*125000进行乘运算得到图像大小为125000*
125000,然后经过softmax函数处理得到图像大小为125000*125000,将此时得到的图像与reshape得到的图像进行乘运算得到图像大小为125000*16,最后经过reshape处理得到大小为50*50*50*16,与最初输入图像经过残差处理后,输出特征大小为50*50*50*16;非局部处理运算公式如下:I*=reshape(softmax(xxT)x)+I (2)
其中I是该层输入的50*50*50*16的特征图,I*是该层输出的50*50*50*16的特征图,x是特征图I经过reshape处理后的125000*16的特征图,softmax(xxT)计算像素点p与特征图中所有像素点q之间的关系值,将每个关系值与所有关系值的和相除作为新的关系值,将关系值作为权值与相应的像素点q的灰度值加权平均作为像素点p处的灰度值;
第三部分由三个卷积层组成,前两个卷积层均由32个大小为5*5*5,步长为1的卷积核和RELU激活函数组成,第三个卷积层由32个大小为2*2*2,步长为2的卷积核和RELU激活函数组成,输入特征的大小为50*50*50*16,经过前两个卷积层处理后,输出特征大小为50*
50*50*32;经过第三个卷积层和处理,输出特征大小为25*25*25*32;
第四部分由两个卷积和一个反卷积层组成,前两个卷积层均由64个大小为5*5*5,步长为1的卷积核和RELU激活函数组成,第三个反卷积层由32个大小为2*2*2,步长为2的反卷积核和RELU激活函数组成,输入特征的大小为25*25*25*32,经过前两个卷积层处理后,输出特征大小为25*25*25*64;经过第三个反卷积层处理,输出特征大小为50*50*50*32;
第五部分由两个卷积层和一个反卷积层组成,前两个卷积层均由32个大小为5*5*5,步长为1的卷积核和RELU激活函数组成,第三个反卷积层由16个大小为2*2*2,步长为2的反卷积核和RELU激活函数组成,输入特征的大小为50*50*50*32,经过前两个卷积层处理后,输出特征大小为50*50*32;经过第三个反卷积层处理,输出特征大小为100*100*100*16;
第六部分由两个卷积层,前两个卷积层均由16个大小为5*5*5,步长为1的卷积核和RELU激活函数组成,输入特征的大小为100*100*50*16,经过两个卷积层处理后,输出特征大小为100*100*100*16;
第七部分由一个卷积层和softmax函数组成,卷积层由100个大小为1*1*1,步长为1的卷积核和RELU激活函数组成,输入特征大小为100*100*100*16,,经过卷积层和softmax函数处理后,输出特征大小为100*100*100*1,输出的特征包括2类:汗腺体类和背景类;
(22)确定三维卷积神经网络的参数,将训练集中的图片载入三维卷积神经网络模型进行训练;
所述步骤(22)中,损失函数使用Dice损失函数,Dice损失函数的值越大,则分割准确度越高,Dice损失函数公式如下:其中:N表示体素块的体素数量;pi表示网络预测结果;gi表示对应体素真实标记。
4.如权利要求1或2所述的一种基于非局部信息的三维卷积神经网络的皮下汗腺提取方法,其特征在于,所述步骤3)的过程如下:为了配合训练好的全卷积神经网络的输入图片尺寸,设立一个大小为100*100*100的窗口以步长为50依次截取预测的图像大小为W*H*N的三维图像数据,得到一系列子图片,将子图片输入到训练好的卷积神经网络中,输出汗腺体像素概率图P,其中P中的每一个像素点的取值范围为0~1,代表了该像素点是否为汗腺体像素的概率;将100*100*100大小的预测结果图P重新弄拼接成W*H*N的图像数据。
5.如权利要求1或2所述的一种基于非局部信息的三维卷积神经网络的皮下汗腺提取方法,其特征在于,所述步骤4)的过程如下:利用连通域方法,获取一个标定数据中所有汗腺体的平均体积(像素个数)V_average,去除汗腺体体积(像素个数)与平均V_average差大于阈值V_thr的汗腺体,以及获取剩下所有汗腺体顶端像素的y坐标的平均y_average,去除y坐标与y_average差大于阈值D_thr的汗腺体,最后剩下的就是真实汗腺体。