1.一种基于球面嵌入、球面对齐和球面校准的零样本学习机制,其特征在于,包括:系统整体框架构建、语义嵌入网络参数学习过程与未见类别样本识别;
所述系统整体框架构建包括:
图像经过视觉特征嵌入网络φ,类别信息经过语义嵌入网络 通过球面嵌入的KL距离,球面对齐的R函数和球面校准的最小熵约束,构造一个目标函数如下:其中 表示球面嵌入的KL距离,由实际标注样本和预测样本之间分布的KL距离计算,R表示球面对齐函数; 表示球面校准的最小熵约束,α和β为实验过程中调节的超参;
所述语义嵌入网络参数学习过程包括:
tr
输入:可见类别的类别原型AC集合和未知类别的类别原型AU集合,训练数据集合Dc ,视觉特征嵌入网;
输出:语义嵌入网络 参数;
步骤1:初始化,设置batch大小B以及迭代次数l,初始化语义嵌入网络 参数;
步骤2:迭代次数iter=[1:l],做以下操作:步骤2.1:随机采样B个样本;
步骤2.2:将可见类别的类别原型AC和未知类别的类别原型AU投影到球面嵌入空间,即对AC∪AU中的每一个类别原型a,根据语义嵌入网络 生成步骤2.3:按照以下公式计算R:
其中i、j分别表示原型a对应的类别标号,cos(θi,j)则表示两个类别i、j的原型之间的余弦距离, 表示两个类别i、j之间对齐因子:其中ai表示类别i的原型,aj表示类别j的原型, 表示语义嵌入网络;
其中u取值表示均匀对齐因子,即 表示平衡对齐因子,S取值表示语义对齐因子,即表示相似度对齐因子,而λ是平衡语义对齐和均匀对齐的平衡参数,在[0,1]之间取值,平衡对齐因子按下式计算:相似度对齐因子按下式计算:
步骤2.4:按照以下公式计算:
其中 表示训练数据集, 表示从训练数据集中选择样本xn, 表示在数据集 上所有样本上的期望,H[q]表示分布q的熵, 表示样本xn经过视觉特征嵌入网络φ和语义嵌入网络 之后,在已知原型a的条件下,预测类别标签y的概率分布,a为对应原型,y为预测的类别标签,概率分布q计算为:其中φ表示视觉特征嵌入网络,表示语义嵌入网络,C表示已知类别数,U表示未知类别数,ai表示类别i的原型,aj表示类别j的原型,yi表示y向量中的第i个分量,即在已知原型,已知语义嵌入网络和视觉特征嵌入网络的条件下,xn属于类别i的概率,其中函数fρ计算如下:其中ρ1和ρ2分别对应可见类别和未见类别的球面半径函数,指定ρ2>ρ1;
步骤2.5:最小化下面目标函数ρ2>ρ1;
其中 表示训练数据集, 表示从训练数据集中选择样本xn, 表示在数据集 上所有样本上的期望,DKL表示计算xn实际类别标签 和其预测的标签分布p之间的KL距离,而 为xn的one‑hot型标注向量,p函数计算如下:步骤2.6:用后向传播方法更新语义嵌入网络 参数;
所述未见类别样本识别包括:
输入:测试图像xm,可见类别的类别原型AC和未知类别的类别原型AU,语义嵌入网络 参数,视觉特征嵌入网络φ参数;
输出:测试图像的预测输出;
步骤1:对测试图像xm,计算测试图像的视觉表示;
步骤2:将可见类别的类别原型AC和未知类别的类别原型AU投影到球面嵌入空间,即对AC∪AU中的每一个类别原型a,根据语义嵌入网络 生成步骤3:按照如下公式计算对测试图像的类别预测值
其中为了和训练数据保持一致,fρ计算如下:
其中θn,i表示原型an和ai之间的夹角,其中n表示样本xn的类别。
2.根据权利要求1所述的一种基于球面嵌入、球面对齐和球面校准的零样本学习机制,其特征在于,利用所述系统整体框架中构造的目标函数,学习得到语义嵌入网络 参数,从而实现将球面嵌入、球面对齐和球面校准融合到一个框架中,解决语义鸿沟问题、枢纽问题、预测偏差问题。
3.根据权利要求1所述的一种基于球面嵌入、球面对齐和球面校准的零样本学习机制,其特征在于,语义嵌入网络参数学习过程中,步骤2的步骤2.3的 的计算公式中,λ∈[0,
1]为试验过程中调节的超参。
4.根据权利要求1所述的一种基于球面嵌入、球面对齐和球面校准的零样本学习机制,其特征在于,语义嵌入网络参数学习过程中,步骤2的步骤2.4的 的计算公式中,H是训练集样本的概率分布q的熵。
5.根据权利要求1所述的一种基于球面嵌入、球面对齐和球面校准的零样本学习机制,其特征在于,语义嵌入网络参数学习过程中,步骤2的步骤2.4的 的计算公式中,C为可见类别的样本个数,U为未见类别的样本个数;φ(xn)为图像xn的视觉特征嵌入函数, 为类别原型a的语义特征嵌入函数,yi表示y向量中的第i个分量,即在已知原型,已知语义嵌入网络和视觉特征嵌入网络的条件下,xn属于类别i的概率。
6.根据权利要求1所述的一种基于球面嵌入、球面对齐和球面校准的零样本学习机制,其 特征 在 于 ,语 义 嵌入 网 络 参 数 学 习过 程 中 ,步 骤 2的 步 骤 2 .5的公式中,α和β实验数据中调节的超参。
7.根据权利要求6所述的一种基于球面嵌入、球面对齐和球面校准的零样本学习机制,其特征在于,公式中的第一项 体现了球面嵌入。
8.根据权利要求6所述的一种基于球面嵌入、球面对齐和球面校准的零样本学习机制,*其特征在于,公式中的第二项αR(η)体现了球面对齐。
9.根据权利要求6所述的一种基于球面嵌入、球面对齐和球面校准的零样本学习机制,其特征在于,公式中的第三项 体现了球面校准。
10.根据权利要求6所述的一种基于球面嵌入、球面对齐和球面校准的零样本学习机制,其特征在于, 作为优化公式集中利用了球面嵌入、球面对齐和球面校准分别解决语义鸿沟、枢纽问题和预测偏差问题。