欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019110310435
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 乐器;声学
更新日期:2023-08-24
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种面向语音识别系统黑盒攻击模型的防御方法,包括以下步骤:(1)获取原始音频文件,利用基于深度学习的语音识别模型对原始音频文件进行筛选,获得能够被正确识别的音频文件,作为原始样本,在原始样本中添加模拟环境噪声后,复制原始样本到设定种群数量;

(2)在步骤(1)的基础上,对原始样本添加随机噪声以进行变异形成初代对抗样本;

(3)以对抗样本的解码短语与目标短语的相似度作为评价函数的选择依据,当相似度小于0.5时,以CTC损失函数作为评价函数,当相似度大于0.5时,以CTC损失函数和对抗样本的解码短语和目标短语的Levenshtein距离作为评价函数,利用遗传算法对对抗样本进行优化迭代,直至Levenshtein距离小于2为止获得接近目标短语的对抗样本;

(4)当Levenshtein距离小于2时,利用梯度估计的方法替换遗传算法对对抗样本进行优化,获得精确对抗样本;

(5)利用原始样本和精确对抗样本对所述语音识别模型重训练进行优化,获得能够防御对抗攻击的语音识别模型;

(6)利用能够防御对抗攻击的语音识别模型对待识别音频文件进行识别,以防御对待识别音频文件的对抗攻击。

2.如权利要求1所述的面向语音识别系统黑盒攻击模型的防御方法,其特征在于,以DeepSpeech作为基于深度学习的语音识别模型。

3.如权利要求1所述的面向语音识别系统黑盒攻击模型的防御方法,其特征在于,在干净音频文件中添加模拟环境噪声为高斯白噪声。

4.如权利要求1所述的面向语音识别系统黑盒攻击模型的防御方法,其特征在于,步骤(3)中,对抗样本的解码短语与目标短语的相似度R(x')为:其中,Levenshtein(C(x'),t)为对抗样本的解码短语C(x')和目标短语的Levenshtein距离,len(t)为目标短语t的长度。

5.如权利要求4所述的面向语音识别系统黑盒攻击模型的防御方法,其特征在于,步骤(4)的具体过程为:

相似度R(x')小于0.5,将CTC loss函数lctc(x')作为评价函数F1(·),当相似度R(x')大于0.5后,将Levenshtein距离引入评价函数,此时评价函数F2(·)表示为:F2(x')=(1‑a)·lctc(x')+a·Levenshtein(C(x'),t)其中,a为权重系数;

按照评价函数获得对抗样本的评价函数评分,根据得分情况从种群中选择评分最高的m条样本作为精英群体;然后,根据评价函数评分,从精英群体中挑选k次,组成父辈1,再挑选k次组成父辈2;通过从父辈1和父辈2中各取一半的数据来生成子代,m和k为自然数;

在获得子代后,根据动量更新来更新突变的概率,突变的概率在每次迭代中都会根据以下指数加权的移动平均值的更新公式而调整大小:其中,pold表示种群原来的突变率,pnew表示种群新的突变率,currScore表示当前种群的得分,preScore表示上一代种群的得分;β和γ是相关系数,β值越大,新的突变率pnew越接近pold;γ越大,pnew变化的范围越大;

再根据动量更新的突变概率,给子代添加随机噪声,然后进入下一轮迭代,直至Levenshtein距离小于2为止获得接近目标短语的对抗样本。

6.如权利要求1所述的面向语音识别系统黑盒攻击模型的防御方法,其特征在于,步骤(4)中,梯度估计的方法如下:

其中,xi是输入样本x的第i位采样点,δi是扰动δ的第i位采样点,i∈[1,n],FDx(C(x),δ)表示C(x)对噪声δ求导, 表示求得的导数,C(x)为样本x输入至模型C中的预测输出,在使用梯度估计方法时,每一代只随机采样100个采样点位置进行扰动,由此获得了精确的对抗样本。

7.一种语音识别系统黑盒物理攻击模型的防御装置,包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序,其特征在于,所述计算机处理器执行计算机程序时实现权利要求1~6任一项所述的面向语音识别系统黑盒攻击模型的防御方法。