欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020104330398
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 乐器;声学
更新日期:2023-12-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于CycleGAN的语音识别模型的防御方法,其特征在于,包括如下步骤:S1生成用于CycleGAN模型训练的数据集,所述的数据集包括对抗样本数据集和正常语音数据集,将所述数据集划分为训练集和测试集;

S2搭建CycleGAN模型,所述的CycleGAN模型由两组GAN模型以对偶的形式构成;

一组GAN模型将对抗样本传递给生成器GA~B滤除噪音,由判别器DB判别是否为正常语音,然后将滤除噪音后的语音传递给生成器GB~A添加噪音;

另一组GAN模型将正常语音传递给生成器GB~A添加噪音,由判别器DA判别是否为对抗样本,然后将添加噪音后的语音传递给生成器GA~B滤除噪音;

S3构建CycleGAN模型的损失函数LcycleGAN;所述损失函数LcycleGAN由Ladv、Lcyc和Lid组成,如式(2)所示,LcycleGAN=ladv+λlcyc+λidlid      (2);

其中,所述λ和λid为缩放因子,ladv为对抗性损失函数,lcyc为循环一致损失函数,lid为身份映射损失函数;

S4利用训练集对CycleGAN模型进行训练,训练完成后,用测试集进行测试,统计经过CycleGAN模型处理后的对抗样本的失效率,若失效率达不到预设标准,则更改CycleGAN模型参数继续训练模型,直到失效率达到预设标准;

S5将失效率达到预设标准的CycleGAN模型中的生成器GA~B集成到语音识别模型中,以抵御对抗样本的攻击。

2.根据权利要求1所述的基于CycleGAN的语音识别模型的防御方法,其特征在于,所述抗样本数据集由以下步骤生成:S11初始化遗传算法的损失函数如式(1)所示:

L=lctc(x,t)           (1);

其中,lctc表示CTC损失函数用于衡量对抗样本经语音识别模型转录的结果与目标短语的相近程度,x表示迭代过程中的最优样本,t表示设置的目标短语;设定种群大小设为100,精英数量为10,迭代次数为3000;

S12通过复制原始样本将样本数量扩大至设定的种群大小,给个体添加随机噪声进行变异,在变异后,攻击语音识别模型,根据公式(1)选择损失函数较小的10个样本作为精英群体,根据公式(1),从精英群体中挑选100次,组成父辈1,再挑选100次组成父辈2;

S13通过从父辈1和父辈2中各取一半的样本进行交叉变异来生成子代,根据公式(1)选择最优样本;

S14判断迭代次数是否达到3000或最优样本的转录结果是否为目标短语,若是,则该样本就为对抗样本数据集,若否,将该最优样本作为下一次迭代的原始样本,回到步骤S12。

3.根据权利要求1所述的基于CycleGAN的语音识别模型的防御方法,其特征在于,所述尘成器GA~B和生成器GA~B的结构相同,均由12个卷积块组成,依次为1个门控卷积块,2个实例归一化门控卷积块,6个残差卷积块,2个pixel shuffed后的实例归一化门控卷积块以及

1个卷积层。

4.根据权利要求1所述的基于CycleGAN的语音识别模型的防御方法,其特征在于,所述的判别器DA和判别器DB的结构相同,均由6个卷积块组成,依次为1个门控卷积块,3个实例归一化门控卷积块,1个全连接层和1个sigmoid函数。

5.根据权利要求1所述的基于CycleGAN的语音识别模型的防御方法,其特征在于,所述的ladv计算公式如式(3)所示,其中,所述lAadv,为GA~B与DB构成的对抗网络的对抗性损失函数,lBadv为GB~A与DA构成的对抗网络的对抗性损失函数;a为对抗样本数据集中的语音,b为正常语音数据集中的语音;

DA()为判断输入是否为对抗样本的判别器,DB()为输入是否为正常语音的判别器;GB~A()为添加噪音的生成器,GA~B()为滤除噪音的生成器,E表示期望。

6.根据权利要求1或5所述的基于CycleGAN的语音识别模型的防御方法,其特征在于,所述的Lcyc计算公式如式(4)所示,其中,所述lAcyc为GA~B与GB~A构成的对抗网络的循环一致损失函数,lBcyc为GB~A与GA~B构成的对抗网络的循环一致损失函数;|| ||1表示11范数。

7.根据权利要求6所述的基于CycleGAN的语音识别模型的防御方法,其特征在于,所述的Lid计算公式如式(5)所示,lid=Ea||GB~A(a)-a||1+Eb||GA~B(b)-b||1     (5)。

8.根据权利要求1所述的基于CycleGAN的语音识别模型的防御方法,其特征在于,在步骤S4前,首先利用训练集对CycleGAN模型中的判别器DB和判别器DA进行预训练,使两个判别器有初步判别语音是否为对抗样本和正常语音的能力。

9.一种基于CycleGAN的语音识别模型的防御装置,包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序,其特征在于,所述计算机处理器执行权利要求1~8任意一项所述的基于CycleGAN的语音识别模型的防御方法。