1.一种基于球面嵌入、球面对齐和球面校准的零样本学习机制,其特征在于,包括:系统整体框架构建、语义嵌入网络参数学习过程与未见类别样本识别;
所述系统整体框架构建包括:图像经过视觉特征嵌入网络φ,类别信息经过语义嵌入网络 通过球面嵌入的KL距离,球面对齐的R函数和球面校准的最小熵约束,构造一个目标函数如下:所述语义嵌入网络参数学习过程包括:tr
输入:可见类别的类别原型As集合和未知类别的类别原型Au集合,训练数据集合Ds ,视觉特征嵌入网
输出:语义嵌入网络 参数;
步骤1:初始化,设置batch大小B以及迭代次数l,初始化语义嵌入网络 参数;
步骤2:迭代次数iter=[1:l],做以下操作:步骤2.1:随机采样B个样本;
步骤2.2:将可见类别的类别原型As和未知类别的类别原型Au投影到球面嵌入空间,即对As∪Au中的每一个类别原型a,根据语义嵌入网络 生成步骤2.3:按照以下公式计算R:其中
均匀对齐因子按下式计算:
语义对齐因子按下式计算:
步骤2.4:按照以下公式计算:概率分布q计算为:
其中函数fρ计算如下:
其中ρ1和ρ2分别对应可见类别和未见类别的球面半径函数,一般指定ρ2>ρ1;
步骤2.5:最小化下面目标函数ρ2>ρ1;
而 为xn的one‑hot型标注向量,p函数计算如下:步骤2.6:用后向传播方法更新语义嵌入网络 参数;
所述未见类别样本识别包括:输入:测试图像xm,可见类别的类别原型As和未知类别的类别原型Au,语义嵌入网络 参数,视觉特征嵌入网络φ参数;
输出:测试图像的预测输出;
步骤1:对测试图像xm,计算测试图像的视觉表示;
步骤2:将可见类别的类别原型As和未知类别的类别原型Au投影到球面嵌入空间,即对As∪Au中的每一个类别原型a,根据语义嵌入网络 生成步骤3:按照如下公式计算对测试图像的类别预测值其中为了和训练数据保持一致,fρ计算如下:
2.根据权利要求1所述的一种基于球面嵌入、球面对齐和球面校准的零样本学习机制,其特征在于,利用所述系统整体框架中构造的目标函数,学习得到语义嵌入网络 参数,从而实现将球面嵌入、球面对齐和球面校准融合到一个框架中,解决语义鸿沟问题、枢纽问题、预测偏差问题。
3.根据权利要求1所述的一种基于球面嵌入、球面对齐和球面校准的零样本学习机制,其特征在于,语义嵌入网络参数学习过程中,步骤2的步骤2.3的 的计算公式中,λ∈[0,1]为试验过程中调节的超参。
4.根据权利要求1所述的一种基于球面嵌入、球面对齐和球面校准的零样本学习机制,其特征在于,语义嵌入网络参数学习过程中,步骤2的步骤2.4的 的计算公式中,H是训练集样本的概率分布q的熵。
5.根据权利要求1所述的一种基于球面嵌入、球面对齐和球面校准的零样本学习机制,其特征在于,语义嵌入网络参数学习过程中,步骤2的步骤2.4的 的计算公式中,S为可见类别的样本个数,U为未见类别的样本个数;φ(xn)为图像xn的视觉特征嵌入函数, 为类别原型a的语义特征嵌入函数。
6.根据权利要求1所述的一种基于球面嵌入、球面对齐和球面校准的零样本学习机制,其特征在于,语义嵌入网络参数学习过程中,步骤2的步骤2.5的 公式中,α和β实验数据中调节的超参。
7.根据权利要求6所述的一种基于球面嵌入、球面对齐和球面校准的零样本学习机制,其特征在于,公式中的第一项 体现了球面嵌入。
8.根据权利要求6所述的一种基于球面嵌入、球面对齐和球面校准的零样本学习机制,*
其特征在于,公式中的第二项αR(η)体现了球面对齐。
9.根据权利要求6所述的一种基于球面嵌入、球面对齐和球面校准的零样本学习机制,其特征在于,公式中的第三项 体现了球面校准。
10.根据权利要求6所述的一种基于球面嵌入、球面对齐和球面校准的零样本学习机制,其特征在于, 作为优化公式集中利用了球面嵌入、球面对齐和球面校准分别解决语义鸿沟、枢纽问题和预测偏差问题。