1.一种基于输出激活映射的过滤器剪枝方法,其特征在于,包括以下步骤:S1:设定超参数:分层剪枝率、每层需要保留的过滤器的数量和修剪迭代时每层剩余过滤器的数量;
S2:预训练初始模型得到基线模型,并将基线模型作为当前需要剪枝的模型;
S3:对当前需要剪枝的模型运行基于相关性和冗余度的过滤器综合评价准则,执行步骤包括:S301:将数据集分为多个小批次数据集,并依次输入基线模型进行图像分类;S302:遍历所有小批次数据集;
S303:对于当前的小批次数据集,计算当前小批次数据集的图像对应类标签的熵以及每个过滤器输出激活映射的熵,根据求得的熵计算每个过滤器输出激活映射与类标签之间的类互信息;
S304:根据类互信息大小对过滤器进行排名,在每个卷积层中选出具有最大类互信息的过滤器作为被选过滤器,剩余过滤器为候选过滤器;
S305:计算每层候选过滤器与每层对应的被选过滤器之间的冗余度,具体步骤包括:(1)根据类互信息大小对过滤器进行排名,在每个卷积层中选出具有最大类互信息的过滤器作为被选过滤器 ,剩余过滤器为候选过滤器 ,其中, 代表候选过滤器集中的任意一个元素; 表示第 个卷积层;
(2)计算每层候选过滤器与每层对应的被选过滤器之间的冗余度:;
其中:
;
和 的联合熵使用各自的归一化Gram矩阵 和 的Hadamard乘积 计算:;
S306:计算每个过滤器的相关冗余权重;
S307:计算每个过滤器的相关性;
过滤器的相关冗余权重 和相关性 的计算方法包括:(1)候选过滤器 :
;
其中,联合互信息 的计算表达式为:;
量化冗余的互信息 的计算表达式为:;
交互信息 的计算表达式为:
;
条件互信息 的计算表达式为:;
(2)被选过滤器 :
;
,其中 是条件互信息;
S308:从相关性和冗余度两个方面综合评价过滤器贡献,计算方法包括:(1)候选过滤器 :
;
(2)被选过滤器 :
;
其中被选过滤器的相关冗余权重为2,冗余度为0;
S309:判断是否遍历所有小批次数据集,若未遍历,则返回至S302,执行步骤S303‑S308,若全部遍历,则执行步骤S310;
S310:将每个过滤器对应的所有小批次数据集的贡献求和取均值,最终得到每个过滤器在整个数据集上的贡献;
S311:根据贡献对过滤器进行分层排名;
S4:根据所述分层剪枝率与修剪迭代前每层剩余过滤器的数量的乘积得到每层需要修剪的过滤器数量,再结合步骤S3得到的每个卷积层的过滤器排名,修剪每层相应数量的贡献较小的过滤器;
S5:对剪枝后的模型进行再训练来恢复模型下降的精度;
S6:判断每层剩余过滤器的数量是否已经达到所述每层需要保留的过滤器的数量,若未达到,则返回步骤S3,继续评价过滤器贡献并执行步骤S3至S5,直至模型剪枝完毕。
2.根据权利要求1所述的基于输出激活映射的过滤器剪枝方法,其特征在于,所述当前小批次数据集的图像对应类标签的熵、第 层第 个过滤器 输出激活映射的熵和其输出激活映射与类标签 之间的类互信息的计算包括步骤:(1)对于给定的大小为 的小批次数据集,其中图像的类标签 ,第 层第 个过滤器 输出的激活映射 ;
(2)使用高斯核函数分别计算类标签 和过滤器 对应的 大小的Gram矩阵和 :;
;
其中,对于所有的 , , 是高斯核宽度, 是Frobenius范数;
(3)信息熵使用归一化的Gram矩阵 的特征值计算:;
其中 , , 是 的归一化矩阵 的第 个特征值, 是 的归一化矩阵 的第 个特征值;
(4)计算当前小批次数据集的图像对应类标签的熵 和第 层第 个过滤器输出激活映射的熵 :;
(5)计算第 层第 个过滤器 输出激活映射与类标签 之间的类互信息:;
其中, 和 的联合熵使用各自的归一化Gram矩阵 和 的Hadamard乘积 ,计算:。
3.一种基于输出激活映射的过滤器剪枝方法的图像分类系统,用于根据如权利要求1至2中任一项所述的方法得到的模型进行图像分类。
4.一种部署图像分类系统的边缘设备,包括存储器和处理器,所述存储器存储计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至2中任一项所述的方法。