欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021103243289
申请人: 山东科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-12-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于AdaRW算法的海洋目标检测深度学习模型训练方法,其特征在于,AdaRW自适应梯度训练算法采用限定窗口进行历史梯度累积,采用Δθt平方根代替AdaGrad算法中的超参数η,限定梯度累积子窗口是从当前t时刻向前推演到历史时刻tm的窗口;同时,设计了多核并行OIPA架构,对海洋目标检测深度学习模型采用AdaRW算法进行并行训练;最终,利用训练后的OceanTDA9_AdaRW模型对洋疑似目标进行检测;

AdaRW自适应梯度训练算法的迭代更新公式如下:Δθt=λΔθt‑1+(1‑λ)gt′⊙gt′                     (5)式中,θ为参数,t为当前时刻,tm为第m个历史时刻,λ为超参数,0≤λ<1;ε取一个很小值防止分母为0;gt为损失函数J(θ)的小批量随机梯度;

OIPA架构由1个中心节点Chief和若干子节点Node组成,中心节点Chief与每个子节点Node成星型联结,所有子节点在逻辑上成闭环联结;

OIPA架构的每个节点都由1个参数服务单元PServer和1个计算服务单元Worker组成;

每个子节点Worker中的数据集不同,分别用Worker_DS0、Worker_DS1、Worker_DS2、Worker_DS3区分;所有子节点Worker_DS中的数据集的和等于训练数据集,中心节点Worker_DS中的数据集是完整的数据集;参数服务单元PServer由若干CPU组成,只负责传递存储数据,不负责计算;计算服务单元Worker_DS由若干GPU组成,只负责计算,不负责传递数据;

基于OIPA架构的训练过程为:

(1)子节点Node0中的参数服务单元中的CPU0根据集群中节点的总数从数据集中取出分摊到本节点的数据集DS0,根据本节点GPU数及训练批次准备2个Batch训练数据集,分发给Worker_DS0中的2个GPU训练,将训练后的梯度ΔP传给本节点的参数服务单元PServer中的CPU1,CPU1用聚合后的梯度更新模型的参数后继续训练;

(2)本节点的Worker_DS0完成指定步数的训练后,将最后一步的梯度传递给集群中主节点Chief0的模型参数文件夹中,并从主节点Chief0的模型参数文件夹中提取最优模型参数,保存到本节点的模型参数文件夹中,更新参数进行新一轮的迭代,随后将最优模型参数分发给与本节点相连的上下游节点Node1和Node2的参数服务单元;

(3)Node1和Node2的参数服务单元验证参数的最新性后,将最新的模型参数保存到本节点的模型参数文件夹中,为本节点新一轮的训练提供最新模型参数;

(4)主节点Chief0的PServer中的CPU1监听模型参数文件夹,及时读取集群中各节点传递的参数,传递给本节点的Worker_DS测试评估模型参数,并将最优模型参数保存在模型参数文件夹中,供各节点读取模型文件夹中的模型继续训练。

2.根据权利要求1所述的一种基于AdaRW算法的海洋目标检测深度学习模型训练方法,其特征在于,该方法包括如下步骤:

S1.提出AdaRW自适应梯度训练算法,推导出该算法更新公式;

S2.设计最优交错并行式架构OIPA;

S3.采用所设计的OIPA架构对所提出的AdaRW算法进行并行训练,得到海洋目标检测深度学习模型OceanTDA9_AdaRW;

S4.利用训练后的OceanTDA9_AdaRW模型检测海洋区域疑似目标。

3.根据权利要求1所述的一种基于AdaRW算法的海洋目标检测深度学习模型训练方法,其特征在于,AdaRW算法包括如下步骤:(1)确定损失函数,采用交叉熵损失函数,如下:其中,θ是参数,y‑i是第i个样本的输入值,hθ(xi)是第i个样本x的输出值;

(2)初始化算法相关参数,初始化超参数λ,梯度累积窗口大小,θ0,θ1,...,θn的值;

(3)计算当前位置损失函数的梯度,并保存tm时刻的梯度;

(4)计算当前位置下降的距离di,采用步长乘以梯度得到;

(5)判断梯度下降的距离是否小于算法终止距离r或是否达到训练次数n,如果是则算法终止,否则转到第(6)步;

(6)更新所有的θ,转入第(1)步,更新函数如下;

(7)算法结束输出结果。