欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019106351964
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于易分特征丢弃策略的深度学习网络正则化约束方法,其特征在于,该方法具体包括以下步骤:其中步骤1~步骤4为作用于卷积层的正则化约束方法,作用于卷积层的正则化约束方法即DropEasy2d,而步骤5~步骤8为作用于全连接层的正则化约束方法,作用于全连接层的正则化约束方法即DropEasy1d;

步骤1:令{xa,xb}表示深度学习网络的输入数据对;y表示输入数据对的二值标签,当y=1,表示{xa,xb}为正样本对,当y=0时,表示{xa,xb}是负样本对;rh和rw∈(0,1),表示作用于卷积层的正则化约束方法在长和宽两个维度上的置零比率;r∈(0,1),表示作用于全连接层的正则化约束方法的置零比率;将{xa,xb}输入到网络中,经过卷积层输出一对多通道的特征图,分别按通道求平均,得到单通道特征图对{Fa,Fb},式(1)和(2)所示:其中h和w分别是{Fa,Fb}的长和宽, 和 分别是Fa和Fb中第j行第i列所对应的特征分量;

步骤2:对特征图对{Fa,Fb},按式(3)计算得到特征图对之间的距离dist2d:其中|·|1表示绝对值运算,dj,i表示{Fa,Fb}中第j行第i列所对应特征分量之间的距离;

步骤3:先按式(4)和(5),分别得到滑窗的长 和宽

其中 表示向下取整操作;然后采用从左到右,从上到下的方式对dist2d进行滑窗遍历,对落入滑窗内的dist2d元素进行相加,找到易分特征区域坐标列表region,满足式(6):其中 (vi,uj)表示易分特征分量的坐标,sum表示对

矩阵中所有元素进行相加,当y=1时,■表示≤,;当y=0时,■表示≥;

步骤4:根据易分特征区域坐标列表region,对{Fa,Fb}中的特征分量分别进行置零;以对Fa的置零操作得到难分特征图 为例, 扩大1/(1-rh*rwr)倍,以补偿网络的训练过程相对于测试过程的数值偏差,具体计算过程如式(7)所示;经过相同操作可以得到Fb的难分特征图 就是丢弃了易分特征,保留了难分特征的特征图对;

步骤5:将 输入到下一个网络层,继续进行网络的前向传播过程;当经过全连接层,则输出特征向量对{fa,fb},fa和fb分别如式(8)和(9)所示:其中n是{fa,fb}的维数, 和 表示fa和fb的第i维特征分量;

步骤6:对于特征向量对{fa,fb},按式(10)计算{fa,fb}的特征距离dist1d:其中di表示{fa,fb}第i维特征分量之间的距离;当y=1,对dist1d从小到大进行排序,得到排序后的序号列表index,如式(11)所示:当y=0,对dist从大到小进行排序得到排序后的序号列表index,如式(12)所示:步骤7:对于序号列表index,取前m个元素,得到{fa,fb}需要置零特征的位置列表subindex,如式(13)所示:subindex=(z1,z2,…,zi,…,zm)   (13)

其中m由式(14)所得:

步骤8:根据subindex,以对fa进行置零操作,得到难分特征向量 为例,与步骤4类似,扩大1/(1-r)倍,具体计算过程如式(15)所示;经过相同操作,可以得到fb的难分特征向量就是丢弃了易分特征,保留了难分特征的特征向量对;

步骤9:将 输入到下一个网络层,按前述的卷积层正则化约束方法DropEasy2d,以及全连接层正则化约束方法DropEasy1d,继续进行网络的前向传播过程。