1.自适应切割阈值的深度学习差分隐私保护方法,其特征是,包括步骤如下:步骤1、利用给定的样本数据集对基于卷积神经网络的差分隐私保护模型进行训练,得到训练好的差分隐私保护模型;
步骤1.1、令迭代次数t=1,并随机初始化基于卷积神经网络的差分隐私保护模型的第1
1次迭代的模型优化参数θ;
步骤1.2、从样本数据集的N个样本中随机采样n个样本构成第t次迭代的训练样本集Lt;
步骤1.3、将第t次迭代的训练样本集Lt的n个样本分别送入到当前基于卷积神经网络的差分隐私保护模型中,得到n个样本的模型预测值;并基于每个样本的模型预测值和真实值计算每个样本的模型损失函数;
t
步骤1.4、利用每个样本的模型损失函数对第t次迭代的模型优化参数θ求偏导,得到n个第t次迭代的中间模型梯度;
步骤1.5、利用K‑means算法将n个中间模型梯度聚类为K个簇;
步骤1.6、为每个簇分配不同的切割边界Ck和方差δk;
步骤1.7、将簇k内每个第t次迭代的中间模型梯度的L2范式 与簇k的切割边界Ck进行比较:
若 则该第t次迭代的中间模型梯度 保持不变;
若 则该第t次迭代的中间模型梯度 更新为簇k的切割边界Ck;
步骤1.8、利用基于方差δk的高斯噪声分别对步骤1.7所得的簇k内的每个第t次迭代的中间模型梯度 进行加噪,得到第t次迭代的加噪中间模型梯度t t
步骤1.9、令t=t+1,并计算第t次迭代的隐私预算ε和第t次迭代的模型优化参数θ;其中:
t
ε=ε‑tΔε
t
步骤1.10、判断第t次迭代的隐私预算ε是否消化完毕即是否小于设定的隐私预算阈值:
t
如果是:则将第t次迭代的模型优化参数θ作为基于卷积神经网络的差分隐私保护模型的最终参数,由此得到训练好的差分隐私保护模型;
否则,则转至步骤1.2;
步骤2、将需要保护的数据输入到步骤1所训练好的差分隐私保护模型中,得到差分隐私保护后的数据;
上述N>>n,N为样本数据集的样本个数,n为第t次迭代的训练样本集的样本个数;j=
1,2,…,m,m为簇k内第t次迭代的中间模型梯度的个数;k=1,2,…,K,K为簇的个数;ε为全t‑1
局隐私预算,Δε为隐私预算的递减步长;η为学习率,θ 为第t‑1次迭代的模型优化参数,为所有簇的第t‑1次迭代的加噪中间模型梯度的平均值。
2.根据权利要求1所述自适应切割阈值的深度学习差分隐私保护方法,其特征是,步骤
1.6中,簇k的切割边界Ck为:或
式中, 为簇k内第j个第t次迭代的中间模型梯度, 为簇k内所有第t次迭代的中间模型梯度的平均值, 为簇k内所有第t次迭代的中间模型梯度的方差值;m为簇k内第t次迭代的中间模型梯度的个数;k=1,2,…,K,K为簇的个数。
3.根据权利要求1或2所述自适应切割阈值的深度学习差分隐私保护方法,其特征是,步骤1.6中,簇k的方差δk为:
2 2
δk=σCkI
式中,σ为高斯噪声的噪声规格,Ck为簇k的切割边界,I为高斯噪声的均值,k=1,2,…,K,K为簇的个数。