1.基于生成对抗网络与自适应比例生成样本图片的方法,包括以下步骤:S1由生成对抗网络生成与输入样本图片分布接近的噪声;
S2根据输入样本图片方差构造自适应比例,将输入样本图片与生成对抗网络生成的噪声以该比例进行融合生成新样本图片,新样本图片根据自适应比例调节噪声与输入样本图片比重;
S3将新样本图片和输入样本图片进行像素相加,从而为新样本图片补充输入样本图片的信息,生成有益于提高DNN检测率的最终样本图片。
2.根据权利要求1所述的基于生成对抗网络与自适应比例生成样本图片的方法,其特征在于,所述步骤S1具体包括:步骤一,生成对抗网络中的生成网络使用四个卷积层对输入样本图片Xi进行下采样操作,得到低维隐变量,再将低维隐变量经过四次相反的卷积操作,对经过四次相反的卷积操作后的低隐变量进行上采样操作,将其映射回高维数据空间,得到与输入样本图片接近的噪声;假设图片总数为N,i∈[1,N],N是一个有限的实数,其大小等于训练集中图片的总数,训练集确定下来后,N的大小也随之确定;
步骤二,将输入样本图片与噪声共同送入生成对抗网络中的鉴别网络,鉴别网络与生成网络形成对抗机制,在二者的博弈过程中,噪声的分布与输入样本图片的分布越来越接近,最终生成网络与鉴别网络达到动态平衡,生成网络的输出就是所需要的最终的噪声。
3.根据权利要求2所述的基于生成对抗网络与自适应比例生成样本图片的方法,其特征在于,所述步骤一具体为:假设输入样本图片Xi的分布为Pdata,生成网络利用四个卷积层将输入样本图片映射到低维隐变量空间,得到分布为PZ(Zi)的低维隐变量Zi,然后生成网络根据低维隐变量Zi生成分布为Pg的图片,该图片就是步骤S1所需要添加到Xi上的噪声,用符号G(X)表示生成网路根据Xi生成噪声的过程;D(X)表示鉴别网络判断X来自于Pdata或Pg;训练鉴别网络时,最大化拥有正确标签图片的概率;训练生成网络时,最小化log(1-D(G(X))),相当于使生成图片的分布越接近Pdata;用公式表示为:minGminDV(D,G) (1)其中,
令V(D,G)关于D(X)的导数为0,有公式(2):
那么,最优鉴别网络如公式(3)所示:
从公式(3)中看出,一个图片X来自真实分布Pdata和生成分布Pg的可能性是相对比例;如果Pdata(X)=0,Pg(X)≠0,最优鉴别网络的概率0;如果Pdata(X)=Pg(X),说明图片是真假的概率各占一半,最优鉴别网络的概率为0.5;将最优鉴别网络带入V(D,G),进行简单变换最终到公式(4):此时直观的看出生成对抗网络使用JS散度衡量真实分布与生成分布之间的距离,网路在优化JS散度时,相当于将生成分布Pg拉向真实分布Pdata,在对抗机制下,Pg慢慢逼近Pdata,从而得到步骤S1所需的与输入样本图片分布接近的噪声。
4.根据权利要求1-3任一所述的基于生成对抗网络与自适应比例生成样本图片的方法,其特征在于,所述步骤S2具体包括:步骤三,提取一个批量上所有输入样本图片的方差,并将该批量上所有输入样本图片方差归一化,当前输入样本图片的方差用vari表示,vari与所有当前批量输入样本图片之和的比值就是自适应比例ratioi,即 将该自适应比例ratioi作为输入样本图片的权重,将该1-ratioi作为步骤二中生成噪声 的权重,生成新样本图片 用公式表示为:当损失函数比较陡峭时,增大vari,增大ratioi,减小新样本图片 中的噪声比例,避免损失函数越过最小值;当损失函数比较平坦时,减小vari,减小ratioi,增大新样本图片中的噪声比例,有助于加快网络的收敛速度。
5.根据权利要求4所述的基于生成对抗网络与自适应比例生成样本图片的方法,其特征在于,所述步骤三包括:建立输入样本图片方差与DNN中损失函数Hessian矩阵的关系、建立损失函数的Hessian矩阵与损失函数最小值的关系,从而得到输入样本图片方差与损失函数最小值之间的关系,根据输入样本图片方差设计自适应比例,最终帮助梯度更新算法寻找损失函数最小值点,提高DNN的检测率。
6.根据权利要求5所述的基于生成对抗网络与自适应比例生成样本图片的方法,其特征在于,所述输入样本图片方差与损失函数的Hessian矩阵的关系的建立具体为:假设第i个图片为Xi,经过一个线性模型后得到h(θ,Xi):
h(θ,Xi)=θTXi (5)其中,θ表示模型参数,i∈[1,N];
采用DNN中常用的损失函数最小均方误差,假设损失函数为f(θ,X),f(θ,X)表示预测值h(θ,Xi)与真实值yi之间差值的平方,其中,系数1/2无限定意义,仅为了便于计算;
在GD算法中,每次迭代都用到所有图片,参数更新如下:
其中,j表示迭代次数,j≥0,η是一个超参数,根据具体应用,赋予其合适的常数值;
在SGD中使用一个图片进行梯度更新,即 中的N等于1,每一次更新参数使用一个图片;在图片量超过几十万的情况下,那么只用其中几万条或者几千条的图片,就能够将θ迭代到最优解,SGD参数更新如下:θj+1=θj-ηgj (10)在模型训练时,SGD算法计算一个批量的梯度,此时将公式(9)中的gj写成公式(11)gB的形式,其中, 是一个大小为M的小批量;
从公式(9)中看出||gj||∝||h(θ,Xi)||,||gj||∝||Xi||,gB是计算一个小批量上的gj,gB∝gj;在数据集中所有图片独立同分布,那么模型参数θ的一阶导数方差var(gi)与图片Xi方差vari之间存在正比的关系,即var(gj)∝vari,那么var(gB)∝vari;DNN中通过卷积层和激活函数对输入样本图片进行变化,卷积操作可以看作是线性变化过程,激活函数虽然引入了一定的非线性,但是视为与输入样本图片成正比;
SGD相当于通过一个小批量估计gB来估计数据集的梯度gN,
由Chaudhari&Soatto定理可知,在回置抽样中,大小为B的小批量的方差等于当损失函数接近最小值时,D(θ,X)相当于Hessian矩阵 的缩放版,即 由于var(gB)∝vari,那么
由于var(gB)≥0,在D(x)为 的缩放版,
时, var(gB)∝vari, B
>0,D(x)为 的缩放版,所以可知 从而建立输入样本图
片方差vari与损失函数的Hessian矩阵 的正比关系。
7.根据权利要求5所述的基于生成对抗网络与自适应比例生成样本图片的方法,其特征在于,所述损失函数Hessian矩阵与损失函数最小值的关系的建立具体为:为了更直观的分析损失函数Hessian矩阵和损失函数最小值关系,引入三种局部平滑序列;
假设θ*是 为最小值时的模型参数,{θj}j≥0为参数更新过程,θ*的邻域为其中 θ*的局部平滑序列定义为{Λ(θj)}j≥0,如公式
(14)所示,
在{θj}j≥0中的前向邻域记为 其中 一个理想
局部平滑序列为 如公式(15)所示,
在{θj}j≥0中的后向邻域记为 其中 一个预测
局部平滑序列为{L(θj)}j≥0,如公式(16)所示,
;
Λ(θj)控制θ*和θj之间的平滑度确保参数更新的收敛性, 是一个理想局部平滑能够使θj快速移向θj+1,由于θ*和θj+1未知,Λ(θj)和 不能直接被计算,L(θj)与θj、θj-1相关,通过预测平滑序列,从而构造预测噪声;当损失函数二阶连续可导,有下面公式,将L(θj)的导数作为SGD、Adam等常见的梯度更新算法的自适应学习率,当L(θj)大的时候,即 大,学习率降低,参数更新时的步长减小;当L(θj)减小的时候,的值减小,学习率增大,参数更新时的步长增大;在每次迭代时,函数fθ(θ,Xi)的平滑度L(θj)与 成正比,所以在整个网络的参数更新中,L(θ)与成正比:当 大时,由于损失函数变化剧烈,函数波形陡峭,参
数更新时的步长减小;当 小时,由于损失函数变化缓慢,函数波形平坦,参数更新时步长增大,从而建立Hessian矩阵 与损失函数最小值的关系:较大时,损失函数变化剧烈,函数波形陡峭,梯度更新算法在进行参数更新时,设置步长较小,防止梯度更新算法越过损失函数最小值; 较小时,损失函数变化缓慢,损失函数波形平坦,梯度更新算法在进行参数更新时,设置步长较大,有利于算法遍历更多区域。
8.根据权利要求5所述的基于生成对抗网络与自适应比例生成样本图片的方法,其特征在于,根据输入样本图片方差设计自适应比例具体为:由于 与函数平滑度L(θj)成正比,由于这里的
vari≥0, 可以将 的绝对值去掉;下面提到的
就是Hessian矩阵;设计自适应比例为ratioi,将生成对抗网络生成的噪声与当前输入样本图片Xi融合生成新样本图片如公式(18)所示:
ratioi由根据输入样本图片方差生成,当输入样本图片方差vari增大时,ratioi增大,损失函数比较“陡峭”,L(θj)增大,则 的值增大,由公式(18)可知噪声的权重为
1-ratioi,即新样本图片 根据vari自动调小噪声的比例,减小加到输入样本图片上的噪声,因为如果此时ratioi过大,那么梯度更新算法在进行参数更新时越过最小值点;在vari值减小时,ratioi减小,损失函数比较平坦,L(θj)减小, 值减小,噪声的比例大,扰动大,梯度更新算法在参数更新时变化幅度大,有助于加速算法的收敛速度;在一个大小为M的批量上提取输入样本图片方差,为了消除图片幅度不一致带来的影响,将所有输入样本图片的方差归一化,即vari∈[0,1],i∈[1,2,…,M],并且将归一化后的输入样本图片方差相加得到 假设当前输入样本图片是Xi,那么该图片权重为ratioi=vari/var,该图片所添加的噪声的权重为1-ratioi;当输入样本图片方差vari增大时,图片权重ratioi增大,噪声权重1-ratioi随之减小;当输入样本图片方差vari减小时,图片权重ratioi减小,噪声权重1-ratioi随之增大;从而添加到图片中的噪声能够根据输入样本图片方差自适应调节比例,有益于网络收敛到局部最小值。
9.根据权利要求4所述的基于生成对抗网络与自适应比例生成样本图片的方法,其特征在于,所述步骤S3具体包括:步骤四:由于步骤三中,自适应比例小于等于1,所以由噪声与输入样本图片生成的新样本图片 丢失一部分真实信息,此时将 与Xi进行像素相加,为 补充输入样本图片信息,最终生成有益于提高DNN检测率的最终样本图片