1.一种多标签图像深度学习分类方法,其特征在于,包含以下步骤:获取训练数据的图像文件和标签,获得标签关系图;
根据标签关系图获得标签节点;根据标签节点获得一阶相似性约束、二阶相似性约束以及高阶相似性约束;优化一阶相似性约束、二阶相似性约束以及高阶相似性约束得到所有类别标签的映射和所有标签组的映射;
构建深度卷积神经网络,制定从卷积神经网络中抽取指定特征图的策略,并进行图像通用特征提取;
选取卷积神经网络不同层的特征图通过映射函数将其映射到标签和标签组映射的维度;
对选取特征图中所有像素点计算标签和标签组在当前像素点位置的相合性评分与归一化评分;
根据选取的特征图中每个位置的标签和标签组归一化评分,获得选取的特征图上整合的标签与标签组特征,通过在多层选取的层的特征图上计算整合的标签特征、标签组特征并且取其均值得到最终的标签相关语义特征与最终的标签组的相关语义特征;
将标签和对应标签组的最终相关语义特征拼接起来得到标签分类特征输入全连接层经过sigmoid激活函数函数计算,阈值判断计算得到该标签在测试样本t中的出现情况;
标签预测,给定测试样本t,将测试样本t带入前述步骤得到样本t中所有标签的预测值。
2.根据权利要求书1所述的一种多标签图像深度学习分类方法,其特征在于,获取训练数据的图像文件和标签,获得标签关系图,包括:获取训练数据的图像文件和训练数据中的标签,得到标签集合V={y1,……yi…,yq},其中,yi表示第i个类别标签,yj表示第j个类别标签,
yq表示第q个类别标签,q表示总的类别标签个数;i为1到q之间的正整数;
得到训练样本的标签矩阵Y∈{0,1}n×q,其中,n为正整数,表示样本个数;
其中,Yab表示矩阵Y∈{0,1}n×q中的第a行b列的元素;Yab=1表示第a个样本含有第b个类别标签,否则Yab=0,a为1到n之间的正整数,b为1到q之间的正整数;
对标签的共现关系建立图G=(V,E);
其中,V表示为类别标签集合,即V={y1,……yi…,yq};
E表示边集,即E={e1,e2,…,em},em表示两两标签节点之间连接的边,m表示边的条数;
将图G中所有标签节点的邻接关系建立成一个邻接矩阵A∈{0,1}q×q,根据边集E得到矩阵A中的所有元素Aij,Aij的取值域为{0,1};
Aij=1表示第i个类别标签yi和第j个类别标签yj在边集E中存在相互连接的边,同时也表示第i个类别标签yi和第j个类别标签yj在多标签数据集中有共现关系;
Aij=0表示第i个类别标签yi和第j个类别标签yj在边集E中不存在相互连接的边,同时也表示第i个类别标签yi和第j个类别标签yj在多标签数据集中没有共现关系。
3.根据权利要求书1所述的一种多标签图像深度学习分类方法,其特征在于,根据标签关系图获得标签节点;根据标签节点获得一阶相似性约束、二阶相似性约束以及高阶相似性约束;优化一阶相似性约束、二阶相似性约束以及高阶相似性约束得到所有类别标签的映射和所有标签组的映射,包括:O1表示的是两个标签节点映射表示和之间的一阶相似性约束:
其中,vi表示在边集E中的任意的一条边上的标签yi;
vj表示标签yi的所在边上的另一个标签yj;为vi对应标签节点映射表示;为vj对应标签节点映射表示;
其中,i,j∈{1,2,…,q};
O2表示的是两个标签节点映射表示和以共同邻居为媒介计算的二阶相似性约束:其中,α为上下文嵌入的权衡参数取值域为{0.1,1,5,10};
标签集合V={y1,……yi…,yq};vi∈V表示类别标签集合V中第i个标签节点;△ij为衡量标签节点vi生成的上下文节点集vj∈Ci质量的函数,Ci为依据标签节点vi生成的上下文节点集,vi生成的上下文节点表达的是标签节点vi ξ之内的邻居节点,ξ的取值域为{5,10};
O3表示的是两个标签节点映射表示和之间的高阶相似性约束,
其中,β为权衡参数取值域为{0.1,1,5,10};为高斯分布;为第k个标签组的标签组映射k∈{1,…K},K为标签组个数取值域为{5,7,9};
πik表示第i个标签之间和标签组k之间的从属关系,取值范围为[0,1];和;
根据与更新Σk,其中,γik表示的是第i个标签和标签组k之间的路径;
根据一阶相似性约束,二阶相似性约束和高阶相似性约束得到最终损失函数:通过最小化损失函数求解出所有类别标签的映射上下文映射标签组分配∏内任意第i行k列元素为πik,πik的取值决定了第i个标签和第k个标签组之间的从属关系;
每个标签有K个标签从属关系值,若πik的取值为标签i在这K个标签从属关系值中的最大值则认为标签i属于标签组k,对于每一个标签都在∏中查找其最大的标签从属关系值就可以得到每个标签所属于的标签组,i为1到q之间的正整数,k为1到K之间的正整数,表示实数域,所有标签组的映射所有标签组的协方差矩阵Ξ,
4.根据权利要求书1所述的一种多标签图像深度学习分类方法,其特征在于,构建深度卷积神经网络,制定从卷积神经网络中抽取指定特征图的策略,并进行图像通用特征提取,包括:输入多标签图像样本t,并将t进行裁剪得到长宽为224通道数为3的图像,输入ResNet‑101卷积神经网络,ResNet‑101是由4个阶层组成,这4个阶层所生成的特征图将作为备选;
输入样本t在每个阶层输出的特征图为
其中,表示实数域;
W为特征图的宽度,取值域为{7,14,28,56};
H为特征图的长度,取值域为{7,14,28,56};
D为特征图的通道数,取值域为{256,512,1024,2048};
s为当前所选取的阶层编号,s的取值域为{1,2,3,4}。
5.根据权利要求书1所述的一种多标签图像深度学习分类方法,其特征在于,选取卷积神经网络不同层的特征图通过映射函数将其映射到标签和标签组映射的维度,包括:提取ResNet‑101中选取的阶层的特征图Fs,通过映射矩阵对Fs进行映射,表示实数域,D为特征图Fs的通道数;de为将选取的特征图Fs映射到标签和标签组映射的维度,de与标签、标签组的映射表示的维度中的de一致。
6.根据权利要求书1所述的一种多标签图像深度学习分类方法,其特征在于,对选取的特征图中所有像素点位置计算标签和标签组在当前位置的相合性评分与归一化评分,包括:引入映射矩阵通过w,h确定选取的特征图Fs中像素点的位置,表示实数域,D为特征图Fs的通道数;de为将选取的特征图Fs映射到标签和标签组映射的维度,w表示在选取出的特征图中的水平位置,取值域为{0 ,1 ,… ,W};h表示在选取出的特征图中的垂直位置,取值域{0,1,…,H}:任意第i 个标签在当前选取的特征图F s 上像素点中的相合性评分任意k 个标签组在当前选取的特征图F s 上像素点中的相合性评分其中,C表示相合性评分计算函数;
fs,(w,h)表示选取的特征图Fs在坐标位置w,h上的特征向量,维度为表示实数域;表示第i个标签映射,i的取值域为{1,2,…,q};表示第k个标签组映射,k的取值域为{1,2,…,K};
当前像素点中第i个标签在选取的特征图Fs上的归一化评分
当前像素点中第k个标签组在选取的特征图Fs上的归一化评分
其中,x表示选取的特征图Fs中的任意像素点位置水平坐标,取值域为{0,1,…,W};
y表示选取的特征图Fs中的任意像素点位置垂直坐标,取值域为{0,1,…,H}。
7.根据权利要求书1所述的一种多标签图像深度学习分类方法,其特征在于,根据选取的特征图中每个位置的标签和标签组归一化评分,获得选取的特征图上整合的标签与标签组特征,通过在多层选取的层的特征图上计算整合的标签特征、标签组特征并且取其均值得到最终的标签相关语义特征与最终的标签组的相关语义特征,包括:在选取的特征图Fs上计算得到的整合的第i个标签特征第i个标签整合的特征维度为并进一步得到在选取的特征图Fs上所有标签节点的整合标签特征在选取的多层特征图上计算标签i的整合标签特征取均值计算得到标签i的最终相关语义特征和所有标签节点的最终相关语义特征其中,表示实数域;引入映射矩阵D为特征图Fs的通道数;de为将选取的特征图Fs映射到标签和标签组映射的维度在选取的特征图Fs上计算得到的整合的第k组标签特征第k组标签整合的特征维度为并进一步得到在选取的特征图Fs上所有标签组的整合标签组特征在选取的多层特征图上计算标签组k的整合标签特征取均值计算得到标签组k的最终相关语义特征和所有标签组的最终相关语义特征其中,表示实数域;
其中,s为选取的参与计算的阶层个数,取值域为{1,2,3,4}。
8.根据权利要求书1所述的一种多标签图像深度学习分类方法,其特征在于,将标签和对应标签组的最终相关语义特征拼接起来得到标签分类特征输入全连接层经过sigmoid激活函数计算,阈值判断计算得到该标签在样本t中的出现情况,包括:根据标签与标签组对应关系∏配对最终第i个标签的相关语义特征和第i个标签所属于的第k标签组的最终相关语义特征维度均为表示实数域;
通过拼接与得到用于标签i分类的特征F'i,F'i的维度为表示实数域;
将F'i输入一个全连接层,全连接层的输入为F'i,输出一个实数Q,将Q输入进sigmoid激活函数得到一个概率该概率是标签i在样本t中出现的概率,该标签i在样本t中出现的概率在(0,1)之间;
通过设置一个阈值z判断标签i是否存在于样本t中,则认为标签i在样本t中有出现,则认为标签i在样本t中没有出现,z的取值域为{0.5}。
9.根据权利要求书1所述的一种多标签图像深度学习分类方法,其特征在于,标签预测,给定测试样本t,将测试样本t带入前述步骤得到样本t中所有标签的预测值,包括:计算选取的特征图Fs上所有标签节点的整合标签特征与所有标签组的整合标签组特征得到标签节点i的最终标签语义特征和标签节点i所属的标签组k标签组k的最终标签组语义特征根据标签与标签组对应关系∏配对将最终第i个标签的相关语义特征与其对应的第i个标签所属于的第k标签组的最终相关语义特征拼接得到最终第i个标签分类特征F'i,并将其输入全连接层经过sigmoid激活函数并进行阈值判断运算,得到最终样本t中第i个标签的分类结果;
对q个类别标签分别带入对第i个标签分类结果的计算方法计算q次可以得到样本t中的类别标签向量
10.一种电子设备,其包括处理器、存储介质以及计算机程序,所述计算机程序存储于存储介质中,其特征在于,所述计算机程序被处理器执行时实现权利要求1至9任一项所述的一种多标签图像深度学习分类方法。