1.一种采用错因强化方式优化损失函数的方法,优化后的损失函数取名为corloss,其特征在于在原来的交叉熵损失函数的基础上加入惩罚项实现, 惩罚项包含以下三个模块:惩罚程度调节因子T,用于调节相关性对交叉熵损失函数影响的强弱,当T=0时,惩罚程度调节因子T对交叉熵损失函数无影响,此时corloss即为交叉熵损失函数,在模型训练时可根据实际情况设置T值;
数据集各类别之间的相关性 ,通过初步模型测试所有物品类别的输出,并使用信息熵公式计算后获得相关性 ;
相关类别的概率 ,即在训练过程中将目标物品识别为与之相关的物品类别的概率,非定值,根据模型的每一次训练情况动态调整。
2.根据权利要求1所述的采用错因强化方式优化损失函数的方法,其特征在于包括以下步骤:步骤S1、初步训练并获取各类别的相关性;
步骤S2、根据识别结果动态加入惩罚项;
步骤S3、构建新的损失函数;
步骤S4:设定溢出机制;
步骤S5:采用corloss训练。
3.根据权利要求2所述的采用错因强化方式优化损失函数的方法,其特征在于步骤S1的具体步骤如下:采用交叉熵损失的损失函数对模型进行初步训练,初步训练后的模型用于测试各类别的相关项以及各类别之间的相关性。
4.根据权利要求3所述的采用错因强化方式优化损失函数的方法,其特征在于步骤S2包括以下具体步骤:根据识别结果动态加入惩罚项,监控每张图片的识别结果,模型对相关项的输出以概率分数的形式作为惩罚项的一部分加入损失函数的计算中,同时在训练过程中使用溢出机制保护损失函数继续计算,一旦溢出则使用原来的交叉熵损失函数。
5.根据权利要求4所述的采用错因强化方式优化损失函数的方法,其特征在于步骤S3的具体步骤如下:以原来的交叉熵损失函数为基础, 通过原来的交叉熵损失函数训练出初步模型后,测试所有类别的相关项, 所有类别的相关项即分类错因,在正式训练时把这些分类错因引入到损失函数的计算中,构建新的损失函数,得到corloss的具体公式如下:,
其中,i是指正确分类的物品类别,j是指与i具有相关性的物品类别,d是指相关物品类别的个数;T为调节因子,用于调节对损失计算的惩罚程度; 为错因值,即相近物品类别之间的相关性,用信息熵来表示,信息熵越大说明相关性越大,模型识别错误的几率越高; 为训练过程中相关类别的输出概率;
其中, 的具体公式如下:
,
其中 为分类i图片输出的平均值,将每个类别的图片输出值按位置相加,然后求平均值以保证输出是正常水平;
模型训练时可以根据实际情况设置d值,当d=0时,其他物品类别不会对目标物品的类别识别产生影响,此时corloss即为交叉熵损失函数。
6.根据权利要求5所述的采用错因强化方式优化损失函数的方法,其特征在于步骤S4的具体步骤如下:当 时,则使用优化后的损失函数corloss,一旦溢出则使用原来的交叉熵损失函数计算。
7.根据权利要求6所述的采用错因强化方式优化损失函数的方法,其特征在于步骤S5包括以下训练方式:A、第一种训练方式如下:共进行两次训练,第一次训练为初步训练,先使用原来的交叉熵损失函数训练初步模型,再使用初步模型测出数据集各类别之间的相关性,整理成相关性表格再进行正式训练,第二次训练则使用corloss进行正式训练,在正式训练时以索引的方式把每个物品类别的相关项加入到corloss中计算,针对初步模型对每个图片的识别情况,从相关性表格中搜索到对应的惩罚项加入到corloss中计算;
B、第二种训练方式如下:只进行一次训练,共N个epoch,训练包括两个阶段,第一个阶段取epoch=int[kN]时的模型作为初步模型,其中0<k<1,用初步模型测出数据集各类别之间的相关性,整理成相关性表格,第二个阶段则使用corloss从epoch=int[kN]+1处开始断点续训,其中0<k<1,在断点续训过程中,针对模型对每个图片的识别情况,从相关性表格中搜索到对应的惩罚项加入到损失函数中计算。