1.基于自监督的跨域小样本细粒度图像识别方法,其特征在于:主要步骤为:步骤S1,将基类细粒度图像数据集采用自监督对比学习训练方法输入预训练模块中,将基类细粒度图像数据集的批次数据通过两种不同数据增强函数增强为两组增强数据;
步骤S2,将两组增强数据输入混合模块中得到两组混合数据,将两组混合数据输入特征编码器中;
步骤S3,两组混合数据经过特征编码器后得到一维特征向量,将一维特征向量输入全连接分类器中,再通过交叉熵损失函数计算整体损失,使用整体损失对预训练模块中的特征编码器进行优化更新;
步骤S4,将预训练模块中训练好的特征提取器提取出来,在元测试模块中使用;
步骤S5,将与基类细粒度图像数据集完全不相交的不可见类细粒度图像数据集输入元测试模块中;
步骤S6,将不可见类细粒度图像数据集的批次数据输入步骤S4中的特征提取器中,输出特征图;
步骤S7,将特征图输入到任务差异最大化模块中得到数据的一维特征向量;
步骤S8,将一维特征向量计算余弦相似度,得出预测结果;
步骤S1中采用自监督对比学习训练方法,具体为:
步骤S11,自监督对比学习训练方法是一种自监督学习方法,没有标签数据的情况下,通过数据的相似或不同,让自监督图像识别模型学习数据集的一般特征;
(1);
(2);
(3);
式中,B1,B2表示同一批次数据B增强后的二个不同数据,Aug()为增强函数, 表示对增强后数据B1进行随机排序数据, 表示对增强后数据B2进行随机排序数据,shuffle()表示随机排序函数,为可学习的超参数,表示使用可学习的超参数 对增强后数据 与随机排序数据 进行加权求和,i=1,2;
步骤S12,将 输入特征编码器计算得到域特定和域无关特征向量,特征编码器分为特征提取器和分离模块,特征编码器中的特征提取器提取特征,获取混合数据的特征图,特征编码器中的分离模块分离域特定和域无关特征,域特定和域无关特征通过全连接分类器使用交叉熵函数计算损失,优化自监督图像识别模型。
2.根据权利要求1所述的基于自监督的跨域小样本细粒度图像识别方法,其特征在于:将不可见类细粒度图像数据集的批次数据输入步骤S4中的特征提取器中,具体为:采用的特征提取器即骨干网络带有参数适配器,在特征提取器的每一层中附加一个参数适配器,参数适配器转换由并行残差连接和矩阵乘法组成;
(4);
(5);
式中, 表示为参数整个适配器计算过程,h为输入特征向量, 表示为参数转换,表示为卷积层,hx 表示为特征向量与 进行矩阵相乘, 表示为一个随机生成的的矩阵, 为特征向量通道数。
3.根据权利要求2所述的基于自监督的跨域小样本细粒度图像识别方法,其特征在于:步骤S7中将特征图输入到任务差异最大化模块中得到数据的一维特征向量;具体为:步骤S71,将特征图输入到任务差异最大化模块中,任务差异最大化模块包括支持集注意力模块和查询集注意力模块,分别通过支持集注意力模块和查询集注意力模块,得到支持集注意力模块一维特征向量和查询集注意力模块一维特征向量,计算每一类图片数据的类原型;
步骤S72,关于支持集注意力模块,使用欧几里得度量距离公式计算每一类图片数据与类原型的距离,得到类内得分;
步骤S73,再使用欧几里得度量距离公式计算各类类原型之间的距离,得到类间得分;
步骤S74,将类内得分与类间得分分别输入全连接层计算得到类内得分一维特征向量和类间得分一维特征向量,使用类内得分一维特征向量与类间得分一维特征向量通过L1范数正则化公式计算出类内得分一维特征和类间得分一维特征;
步骤S75,关于查询集注意力模块,使用欧几里得度量距离公式计算各类图片数据与类原型的距离,得到类内得分;
步骤S76,将类内得分输入全连接层计算得到类内得分一维特征向量,使用类内得分一维特征向量通过L1范数正则化公式计算出类内得分一维特征。
4.根据权利要求3所述的基于自监督的跨域小样本细粒度图像识别方法,其特征在于:步骤S8中将一维特征向量计算余弦相似度具体为:
支持集注意力模块得到的一维特征向量和查询集注意力模块得到的一维特征向量,通过计算两个一维特征向量夹角的余弦值来评估两个一维特征向量的相似度。
5.根据权利要求4所述的基于自监督的跨域小样本细粒度图像识别方法,其特征在于:图像识别模型包括串行连接的预训练模块和元测试模块。
6.根据权利要求5所述的基于自监督的跨域小样本细粒度图像识别方法,其特征在于:其中预训练模块设有依次连接的混合模块、特征提取器、分离模块、全连接分类器和交叉熵损失函数模块;
混合模块是将数据使用加权求和的方式混合形成新数据;
特征提取器是通过矩阵卷积计算的方式获取输入图片数据的特征图;
分离模块由多个全连接层及批量归一化层组成,通过多次全连接层计算降维至64维,再通过均方差计算得到当前数据的域特定和域无关特征,得到域特定和域无关特征图;
全连接分类器表示一个全连接层,将输入的域特定和域无关特征图降维得到一维数据;表示图像提取映射到基类上的相似度分数,再通过交叉熵损失函数计算损失并优化更新特征提取器;
交叉熵损失函数模块是将预测数据和真实数据进行交叉熵计算得到当前损失,使用当前损失对特征编码器进行优化更新。
7.根据权利要求6所述的基于自监督的跨域小样本细粒度图像识别方法,其特征在于:其中元测试模块设有带参数适配器的特征提取器、支持集注意力模块、查询集注意力模块和余弦相似度模块;
带参数适配器的特征提取器是在每一个残差神经网络单元中以残差拓扑构造的方式附加一个带有参数转换的参数适配器,使用参数适配器以支持集数据的特征图为基础,使用参数适配器对查询集数据的特征图做微调;
支持集注意力模块使用欧几里得度量距离公式计算每一类图片数据与类原型的距离,得到类内得分;再使用欧几里得度量距离公式计算各类类原型之间的距离,得到类间得分;
将类内得分与类间得分分别输入全连接层计算得到类内得分一维特征向量和类间得分一维特征向量,使用类内得分一维特征向量与类间得分一维特征向量通过L1范数正则化公式计算出类内得分一维特征和类间得分一维特征;
查询集注意力模块是使用欧几里得度量距离公式计算各类图片数据与类原型的距离,得到类内得分;将类内得分输入全连接层计算得到类内得分一维特征向量,使用类内得分一维特征向量通过L1范数正则化公式计算出类内得分一维特征;
余弦相似度模块是通过计算两个一维向量夹角的余弦值来评估两者的相似度。