1.一种基于多任务卷积神经网络的舌象分类方法,其特征在于:包括对采集到的舌象进行一系列预处理的图像操作;包括用于舌整体特征提取的深度卷积神经网络、包括用于对舌面标签进行检测的感兴趣区域定位网络、用于深度学习和训练识别的多任务深度卷积神经网络,完成对舌象舌色、苔色、苔质的厚薄、腐腻、润燥属性的标签分类;
所述的对采集到的舌象进行一系列预处理的图像操作包括颜色校正、舌体分割、阴影区域去除在内的三个预处理操作,对自然环境下得到的舌象进行校正,满足后续识别的要求;
所述的用于舌整体特征提取的深度卷积神经网络,作为多任务卷积神经网络的基础网络,共分为五层,由卷积层、激活层和池化层交替构成的深度结构,隐式地从给定的舌像数据中进行无监督学习,避免了人工进行显式的特征提取;
所述的用于对舌面标签进行定位的感兴趣区域提取网络,即RPN网络,对舌面上不同属性对应的区域进行检测和划分,用于下一阶段网络的分类训练;
所述的用于深度学习和训练识别的多任务深度卷积神经网络,由全连接层组成,对上一阶段得到的各类标签候选区域进行深层特征提取,输入区域在网络中进行层层映射,得到不同的表示形式,提取其抽象特征,从而实现对舌象的深度表示;
所述用于深度学习和训练识别的多任务深度卷积神经网络中,根据所要识别的属性种类构建不同个数的子网络,每个子网络结构相同,由全连接层组成,并在此之前加入了金字塔池化层进行尺度归一化;
子网络利用全连接层对采样后的候选区域进行特征提取,候选区域共有9种尺寸,而全连接层要求输入尺寸一致,故在此先利用金字塔池化层进行尺度归一化,再将其送入三个全连接层进行深层特征提取,子网络中全连接层输出神经元个数均设置为1024,得到1024维的特征向量;接着,将该特征向量分别送入两个全连接层进行特征压缩,根据子网络所需完成的具体任务对这两个全连接层的输出神经元个数分别进行设置,在子网络一中设置为
9和36,在子网络二中设置为4和16;最后,将输出值分别与真实标签值做对比,进行损失函数的回归约束;
以任一子网络为例,多任务损失函数由公式(6)表示:式中,类别损失函数由式(7)定义为:位置回归损失函数由式(8)定义为:R是鲁棒的损失函数smoothL1,由式(9)表示为:式中,Ncls和Nreg是为避免过拟合的正则项,λ为权重系数,i是该候选区域的类别索引值,ti是该候选区域的预测坐标偏移量,是该候选区域的实际坐标偏移量,pi是预测候选区域属于第i类的概率, 表示其真实类别, 表示背景类, 表示非背景类;
通过这两个损失函数分别计算预测值与给定真实值之间的误差,利用反向传播算法将误差层层回传,利用随机梯度下降法对每层的参数进行调整和更新,更新公式如式(10)所示,使得网络的预测值更接近真实值,即最后两个全连接层的输出更接近给定标注值中的类别和位置信息;
式中,w和w'分别为更新前后的参数值,E为通过损失函数层计算得到的误差值,η为学习率。
2.如权利要求1所述的一种基于多任务卷积神经网络的舌象分类方法,其特征在于:所述对采集到的舌象进行一系列预处理的图像操作中,针对舌象中存在颜色种类单一且存在大片相近颜色的情况,采用基于图像熵约束的灰度世界算法对舌象进行颜色校正;采用一种基于两阶段深度卷积神经网络的舌体分割方法;根据阴影区域和舌面其他区域相比具有高饱和度和低亮度值的特性进行阴影点的检测;
其中,颜色校正算法的实现分为三个步骤:(1)首先对图像的三个颜色通道分别计算一维离散相对熵;
式中,k=R,G,B,Pk,i表示k分量的灰度值为i的像素在图像中所占的比例;
(2)R、G、B三个通道的“约束”增益系数分别为:式中,kr,kg,kb分别为灰度世界算法计算得到的三个通道增益系数;
(3)进行“约束”增益系数校正;
图像颜色越丰富,则Hk R越接近于1,krc r≈kr,krc g≈kg,krc b≈kb,即对通道的增益系数几乎没有做任何的调整;反之图像颜色越少,Hk R越接近于0,krc r=krc g=krc b≈1,图像颜色不做任何校正,从而防止了“过校正”的现象;
基于两阶段深度卷积神经网络的舌体分割方法流程如下:Step1:第一阶段为粗分割,针对原始舌象图中干扰信息多的特点,利用卷积神经网络自动学习舌体的深层特征,训练感兴趣区域模型,先利用选择性搜索网络RPN生成候选框,并以此为基础从相似的背景中提取出感兴趣区域,粗分割获得舌体的所在区域,去除大量干扰信息,弱化其与舌体周边组织的影响;
Step2:第二阶段为精分割,将前一阶段得到的感兴趣区域作为全卷积网络的输入,在不需要人工干预的情况下,自动学习样本训练Softmax分类器,用训练好的Softmax分类器对图像的每一个像素进行分类进而进行精分割,得到较为完整准确的舌体图像;
Step3:最后对精分割得到的图像进行后续处理,使分割结果得到进一步优化;阴影区域去除的算法处理过程如下:
Step1:首先将分割后的舌象图从RGB颜色空间转换到HSV颜色空间,构造新的通道S/V,在此通道根据设定的阈值进行判定即检测出大部分阴影点;
Step2:经过上一步的检测获取到舌根处的主要阴影区,利用形态学方法进行小区块的删除恢复舌体边缘。
3.如权利要求1所述的一种基于多任务卷积神经网络的舌象分类方法,其特征在于:所述的用于舌整体特征提取的深度卷积神经网络,共分为五层,卷积神经网络是由卷积层、激活层和池化层交替构成的深度结构;通过卷积操作,使原信息增强并减少噪声;通过池化操作,利用图像局部相关性的原理,对图像进行子抽样,在保留图像有用信息的基础上减少数据的处理量;
网络接受任意尺寸的舌象作为输入,具体网络结构如下:第一个卷积层Conv1的卷积核个数为96,大小为7×7×3,卷积步长为2,填充值为3;第一个池化层Pool1的池化核为7×7×3,池化步长为2,填充值为1;随后进行ReLU激活层1处理;第二个卷积层Conv2有256个卷积核,大小为5×5×96,步长为2,填充值为2;第二池化层Pool2的池化核为7×7×96,步长为2,填充值为1;随后进行ReLU激活层1处理;第三个卷积层Conv3有384个卷积核,大小为3×3×256,填充值为1;随后进行ReLU激活层1处理;第四个卷积层Conv4有384个卷积核,大小为3×3×384,填充值为1;随后进行ReLU激活层1处理;第五个卷积层Conv5有256个卷积核,大小为3×3×384,填充值为1;随后进行ReLU激活层1处理;
经过这五层的特征提取,每张舌象得到256张特征图,作为RPN网络的输入。
4.如权利要求3所述的一种基于多任务卷积神经网络的舌象分类方法,其特征在于:所述用于对舌面标签进行定位的感兴趣区域提取网络中,RPN网络接收基础网络生成的256张特征图作为输入,利用三个卷积层及算法层对特征图进行二次处理,输出矩形目标候选框的集合,每个框包含4个位置坐标变量和一个得分;
RPN网络的第一个卷积层Conv1/rpn有256个卷积核,大小为3×3×256;RPN网络的第二个卷积层Conv2/rpn有18个卷积核,大小为1×1×256,RPN网络的第三个卷积层Conv3/rpn有36个卷积核,大小为1×1×256;
RPN网络为了生成区域候选框额外加入了算法层,在特征图上进行多尺度卷积操作,具体实现为:在每一个滑动窗口的位置使用3种尺度和3种长宽比,以当前滑动窗口中心为中心,并对应一种尺度和长宽比,则在原图上映射得到9种不同尺度的候选区域,如对于大小为w×h的共享卷积特征图,则总共有w×h×9个候选区域;最后,分类层输出w×h×9×2个候选区域的得分,即对每个区域是目标/非目标的估计概率,回归层输出w×h×9×4个参数,即候选区域的坐标参数;
在RPN网络中训练过程如下:首先用3×3的滑动窗口遍历特征图上的每个点,找到该点2
处滑动窗口中心点映射在原图中的位置,并以其为中心点,在原图上生成3种尺度128 ,
2 2
256 ,512和3种长宽比1:1,2:1,1:2的候选区域,即特征图上的每个点在原图中都对应9个候选区域,设置特征图大小为w×h,则生成的候选区域数目为w×h×9,接下来对所有候选区域进行两次筛选及两次判断;首先删去超出原图范围的候选区域完成第一次筛选,接着对剩余的候选区域计算其与所有真实的标签区域交并集之比即重叠率,并根据比值为每个候选区域分配一个二进制标签,以此来判断该区域是不是标注对象,判断标准为:1)将比值最大的候选区域视为正样本,即标注对象;2)在其他候选区域中,若比值大于0.7,则认为是正样本,小于0.3,则认为是负样本,即非标注对象,比值介于这两者之间的候选区域进行舍弃;
候选区域与真实标注框GT重叠率的计算由式(5)表示:完成对候选区域的二次筛选后,对其进行第二次标记判断,即将与其有最大交并集之比的真实标注区域的标签作为该候选区域的标签,并为所有负样本添加背景标签,对正负样本进行随机采样,采样数目设置为128,采样比例设置为1:1,正若正样本数目少于64,则差额部分由负样本补足,在后续的网络中将128个正负样本进行融合一同训练,以增强标注样本与非标注样本的区分度。