欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2018107810972
申请人: 陕西师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于差分隐私和层级相关性传播的图像分类方法,其特征在于,包括以下步骤:

步骤1,确定灰度图像数据集D,所述灰度图像数据集D包括m个灰度图像数据和m个灰度图像数据对应的分类标签;然后基于层级相关性传播计算得到灰度图像数据集D的相关性矩阵R;

步骤2,基于差分隐私以及根据灰度图像数据集D的相关性矩阵R,得到灰度图像数据集D的噪声平均相关性矩阵步骤3,将灰度图像数据集D划分为训练集D1与测试集D2,训练集D1包括 个灰度图像数据,测试集D2包括 个灰度图像数据,设定卷积神经网络包括num_conv个卷积层和num_FC个全连接层,使用θ表示卷积神经Conv FC Conv FC网络全部参数,θ={θ ,θ },θ 表示卷积神经网络num_conv个卷积层的参数,θ 表示卷积神经网络num_FC个全连接层的参数;

初始化:令loop表示第loop次迭代,loop的初始值设为1,loop的最大值为预设值max_loop;对于第loop次迭代,1≤loop≤max_loop;

步骤4,从训练集D1中确定第loop次迭代后的灰度图像数据集Dloop,进而得到第loop次迭代后的扰动批量数据步骤5,根据第loop次迭代后的扰动批量数据 计算得到第loop次迭代后的交叉熵损失函数Lossloop,进而得到第loop次迭代后的扰动损失函数步骤6,根据第loop次迭代后的扰动损失函数 计算得到第loop次迭代后一阶矩偏差修正结果 和第loop次迭代后二阶矩偏差修正结果步骤7,如果loop

直到得到第max_loop次迭代后的卷积神经网络全部参数θmax_loop,此时迭代停止,并将迭代停止时得到的第max_loop次迭代后的卷积神经网络全部参数θmax_loop,作为卷积神经网络最优参数 表示卷积神经网络num_conv个卷积层的最优参数,表示卷积神经网络num_FC个全连接层的最优参数;

将卷积神经网络num_conv个卷积层的最优参数 和卷积神经网络num_FC个全连接层的最优参数 作为一种基于差分隐私和层级相关性传播的图像分类结果。

2.如权利要求1所述的一种基于差分隐私和层级相关性传播的图像分类方法,其特征在于,在步骤1中,所述m个灰度图像数据,每个灰度图像数据都为n×n维矩阵,且n×n维矩阵中每个元素分别代表一个输入特征;

将所述m个灰度图像数据对应的分类标签,记分类标签数量为C;

所述灰度图像数据集D的相关性矩阵R,其得到过程为:

(1a)设置神经网络共有L层,分别用0,1,2,...,l,l+1,...,L-1表示,神经网络第0层表示输入层,第L-1层表示输出层,中间第1层至第L-2层都是隐藏层;神经网络第0层神经元总个数为|n×n|,第L-1层神经元总个数为C;

(1b)计算神经网络第l'+1层第j个神经元的输入

其中,j=1,2,…,|l'+1|,i=1,2,…,|l'|,|l'|表示神经网络第l'层神经元总个数,|l'+1|表示神经网络第l'+1层神经元总个数,l'=0,1,2,…,L-2, 表示神经网络第l'层第i个神经元的输出,若l'=0,则 表示神经网络第0层第i个神经元的输出; 表示神经网络第l'层第i个神经元和第l'+1层第j个神经元的连接权重, 表示神经网络第l'+1层第j个神经元的偏置项; f(·)表示激活函数,当l'+1=L-1时, 表示神经网络第L-1层第j个神经元的输出;

(1c)令j的值分别取1至|l'+1|,重复执行(1b),进而分别得到神经网络第l'+1层第1个神经元的输入 至神经网络第l'+1层第|l'+1|个神经元的输入 以及神经网络第l'+1层第1个神经元的输出 至神经网络第l'+1层第|l'+1|个神经元的输出 并分别记为神经网络第l'+1层的输入z(l'+1)和神经网络第l'+1层的输出x(l'+1),然后将j的值初始化为1;

(1d)令l'的值分别取0至L-2,重复执行(1b)和(1c),进而分别得到神经网络第1层的输入z(1)至神经网络第L-1层的输入z(L-1),以及神经网络第1层的输出x(1)至神经网络第L-1层的输出x(L-1),然后将l'的值初始化为0;

从灰度图像数据集D中读取第k个灰度图像数据,并在设置的神经网络上使用传统神经网络中的前向算法计算得到第k个灰度图像数据的C维输出量Outk;k=1,2,…,m;

(1e)计算神经网络第l”层第i'个神经元上的相关性

其中,l”+1的初始值是L-1,l”的初始值为L-2,l”+1=L-1,L-2,…,2,1,l”=L-2,L-

3,…,2,1,0; 表示神经网络第l”层第i'个神经元上的相关性,

i'=1,2,…,|l”|,|l”|表示神经网络第l”层神经元总个数; 表示神经网络第l”+1层第j”个神经元上的相关性,j”=1,2,…,|l”+1|,|l”+1|表示神经网络第l”+1层神经元总个数; 表示神经网络第l”+1层第j”个神经元的输入, 表示神经网络第l”层第i'个神经元和第l”+1层第j”个神经元的连接权重, 表示神经网络第l”层第i'个神经元的输出;

基于层级相关性传播计算得到神经网络第0层的相关性r(0),

表示神经网络第0层第q个神经元的相关性,q=1,

2,…,|n×n|,|n×n|表示神经网络第0层神经元总个数;然后将神经网络第0层的相关性r(0),作为第k个灰度图像数据相关性列向量;

(1f)将第k个灰度图像数据相关性列向量转换为与第k个灰度图像数据同形状的相关性矩阵,记为第k个灰度图像数据的相关性矩阵Pk;

(1g)令k的值分别取1至m,重复子步骤(1b)至(1f),进而得到第1个灰度图像数据的相关性矩阵P1至第m个灰度图像数据的相关性矩阵Pm,并记为m个灰度图像数据的相关性矩阵P1,P2,P3,...,Pm;

(1h)计算第row行、第col列上的相关性Rrow,col:

其中,row=1,2,…,n,col=1,2,…,n,Pk,row,col表示第k个灰度图像数据的相关性矩阵Pk在第row行、第col列上的相关性;

(1i)令col的值分别取1至n,重复执行(1h),进而分别得到第row行、第1列上的相关性Rrow,1至第row行、第n列上的相关性Rrow,n,记为第row行上的相关性Rrow,然后将col的值初始化为1;

(1j)令row的值分别取1至n,重复执行(1h)和(1i),进而分别得到第1行上的相关性R1至第n行上的相关性Rn,记为灰度图像数据集D的相关性矩阵R。

3.如权利要求2所述的一种基于差分隐私和层级相关性传播的图像分类方法,其特征在于,在步骤2中,所述灰度图像数据集D的噪声平均相关性矩阵 具体为:令 表示灰度图像数据集D的噪声平均相关性矩阵 的第row行、第col列元素,其计算公式为:其中,row=1,2,…,n,col=1,2,…,n,Rrow,col表示第row行、第col列上的相关性,lap表示拉普拉斯分布,ε1表示第一隐私预算,第一隐私预算ε1为(0,1)内的随机数,normalize(·)表示归一化处理操作。

4.如权利要求3所述的一种基于差分隐私和层级相关性传播的图像分类方法,其特征在于,步骤4的子步骤为:(4a)从训练集D1随机读取batch_size个灰度图像数据,记为第loop次迭代后的灰度图像数据集Dloop,选取第loop次迭代后的灰度图像数据集Dloop中第d幅灰度图像数据,记为Dloop,d,d=1,

2,…,batch_size;

确定Dloop,d的部分矩形区域范围作为第loop次迭代后第d幅灰度图像数据的待加噪区域Floop,d;

(4b)计算分配到Dloop,d中第row'行、第col'列输入特征的隐私预算εrow',col',loop,d:其中,R_low≤row'≤R_high,C_low≤col'≤C_high; 表示灰度图像数据集D的噪声平均相关性矩阵 的第row'行、第col'列元素; 表示噪声平均相关性矩阵 内行在[R_low,R_high]内、列在[C_low,C_high]内的所有噪声平均相关性相加之和;

(4c)计算待加噪区域Floop,d内第row'行、第col'列的输入特征Iloop,d,row',col':其中,Iloop,d,row',col'表示待加噪区域Floop,d内第row'行、第col'列的输入特征,lap表示拉普拉斯分布, |D|表示训练集D1的大小,|n×n|表示神经元第0层神经元总个数;

(4d)令col'的值分别取C_low至C_high,重复执行(4c),直到得到待加噪区域Floop,d内第row'行、第C_low列的扰动输入特征 至待加噪区域Floop,d内第row'行、第C_high列的扰动输入特征 记为待加噪区域Floop,d内第row'行的扰动输入特征然后将col'的值初始化为C_low;

(4e)令row'的值分别取R_low至R_high,重复执行(4c)和(4d),直到得到待加噪区域Floop,d内第R_low行的扰动输入特征 至待加噪区域Floop,d内第R_high行的扰动输入特征 记为待加噪区域Floop,d内的扰动输入特征 并作为Dloop中第d幅灰度图像数据输入特征加噪处理结果,然后将col'的值初始化为C_low,将row'的值初始化为R_low;

(4f)令d的值分别取1至batch_size,重复执行(4c)至(4e),直到得到Dloop中第1幅灰度图像数据输入特征加噪处理结果至Dloop中第batch_size幅灰度图像数据输入特征加噪处理结果,记为第loop次迭代后的扰动批量数据

5.如权利要求4所述的一种基于差分隐私和层级相关性传播的图像分类方法,其特征在于,所述第loop次迭代后第d幅灰度图像数据的待加噪区域Floop,d,其确定过程为:构造一个长为n且值全为设定阈值thv的行向量,行向量的行标依次为1、2、…、n,计算行标的下限需从Dloop,d中第1行开始比较,依次将Dloop,d的行标加1,直到Dloop,d中的行首次出现行内输入特征超过设定阈值thv,则将该行的行标设定为待加噪区域Floop,d的行下限,记为R_low;计算行标的上限则需要从Dloop,d中第n行开始比较,依次将Dloop,d中的行标减1,直到Dloop,d中首次出现行内输入特征超过设定阈值thv,则将该行的行标设定为待加噪区域Floop,d的行上限,记为R_high;

构造一个长为n且值全为设定阈值thv的列向量,列向量的列标依次为1、2、…、n,计算列标的下限需从Dloop,d中第1列开始比较,依次将Dloop,d的列标加1,直到Dloop,d中的列首次出现列内输入特征超过设定阈值thv,则将该列的列标设定为待加噪区域Floop,d的列下限,记为C_low;计算列标的上限则需要从Dloop,d的第n列开始比较,依次将Dloop,d的列标减1,直到Dloop,d中首次出现列内输入特征超过设定阈值thv,则将该列的列标设定为待加噪区域Floop,d的列上限,记为C_high;

将Dloop,d中行在[R_low,R_high]内、列在[C_low,C_high]内的区域,作为第loop次迭代后第d幅灰度图像数据的待加噪区域Floop,d。

6.如权利要求4所述的一种基于差分隐私和层级相关性传播的图像分类方法,其特征在于,在步骤5中,所述第loop次迭代后的交叉熵损失函数Lossloop和所述第loop次迭代后的扰动损失函数 其计算公式分别为:其中,a(sp)表示 中第sp个灰度图像数据对应的分类标签,y(sp)表示 中第sp个灰度图像数据的模型计算分类结果, 表示神经网络第L-1层第q'个神经元的输出,q'=1,2,…,|L-1|,|L-1|表示神经网络第L-1层神经元总个数,上标T表示转置操作; |D|表示训练集D1的大小,|n×n|表示神经网络第0层神经元总个数;lap表示拉普拉斯分布,ε2表示第二隐私预算,第二隐私预算ε2为(0,1)内的随机数。

7.如权利要求6所述的一种基于差分隐私和层级相关性传播的图像分类方法,其特征在于,步骤6中,所述第loop次迭代后一阶矩偏差修正结果 和第loop次迭代后二阶矩偏差修正结果 其得到子步骤为:

6.1计算得到第loop次迭代后的梯度gloop, 表示第loop次迭代

后的扰动损失函数, 表示θloop的梯度,θloop表示第loop次迭代后的卷积神经网络全部参数;以随机化方式为卷积神经网络全部参数分别赋任意实数值,得到卷积神经网络全部参数初始值θ0;

6.2计算得到第loop次迭代后一阶矩估计sloop,sloop=ρ1sloop-1+(1-ρ1)gloop,sloop-1表示第loop-1次迭代后一阶矩估计,s0=0;ρ1表示区间[0,1)内的随机数;

6.3计算得到第loop次迭代后二阶矩估计rloop, rloop-1表示第

loop-1次迭代后二阶矩估计,r0=0;ρ2表示区间[0,1)内的随机数;

6.4计算得到第loop次迭代后一阶矩偏差修正结果

6.5计算得到第loop次迭代后二阶矩偏差修正结果

8.如权利要求7所述的一种基于差分隐私和层级相关性传播的图像分类方法,其特征在于,步骤7中,所述loop次迭代后的卷积神经网络全部参数θloop,其计算过程包括:θloop=θloop-1+△θloop-1

其中, 表示第loop-1次迭代后一阶矩偏差修正结果, 表示第loop-1次迭代后二阶矩偏差修正结果;δ表示设定常数,α表示设定学习步长。