欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021109753478
申请人: 中国地质大学(武汉)
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于RGB‑D的显著目标检测方法,其特征在于,所述显著目标检测方法包括以下步骤:下采样网络中,采用两个Resnet50骨干网络分支分别对RGB图像和深度图像进行特征提取,得到RGB特征和Depth特征;

将所述Resnet50骨干网络的最后一层提取到RGB特征和Depth特征通过全局平均池化,得到池化后的特征组合;

将所述的池化后的特征组合,输送到深度置信模块,获得深度图的置信度α及权重将每层提取到的RGB特征和Depth特征均输送到门控多模态注意模块,并结合所述深度图的权重 得到基于注意力机制的多模态融合特征;

将浅层门控多模态注意模块提取到的多模态融合特征分别与后续深层网络门控多模态注意模块提取到的多模态融合特征进行整合,得到多个整合后的特征;

将多个所述整合后的特征输送到边缘特征增强模块,获得边缘增强后的特征,并输送至上采样网络,具体表达式为:f1=subsample(conv1(df2))

f2=conv2(rf3)

其中,df2和rf3表示边缘特征增强模块的输入,f1,f2表示计算过程中的中间过渡变量,表示边缘特征增强模块的输出,subsample表示通过双线性插值进行的下采样操作,convi(i=1,2,3)表示3×3卷积,[·,·]表示级联,δ为ReLU激活函数;

上采样网络中,获取不同层次的关于显著目标的全局信息,并将所述全局信息输送到全局信息指导融合模块;所述全局信息的获取具体为:sf1=δ(conv1([rs1,ds1])

sf2=δ(conv2([rs2,ds2])

其中,rs1,ds1,rs2和ds2表示全局信息获取模块的输入,convi(i=1,2)表示3×3卷积,δ为ReLU激活函数,sf1和sf2表示多模态融合后的全局信息;

所述全局信息指导融合模块具体为:

f1=upsample(conv1(sf1))

其中,sf1和 表示全局信息指导融合模块的输入,f1,f2表示计算过程中的中间过渡变量,[·,·]表示级联,upsample表示上采样操作,convi(i=1,2,3)表示3×3卷积, 表示矩阵点乘,δ为ReLU激活函数, 表示通过全局信息指导融合模块增强后的主要特征;

在所述全局信息的指导下,所述全局信息指导融合模块自动选取和增强所述边缘增强后的特征中所包含的关于显著目标的主要特征,并抑制背景噪声,得到增强后的主要特征;

将所述增强后的主要特征通过多尺度和多模态特征融合,并结合所述深度图的置信度α,生成结构完整和边缘清晰的显著目标预测结果。

2.根据权利要求1所述的一种基于RGB‑D的显著目标检测方法,其特征在于,在所述将增强后的主要特征通过多尺度和多模态特征融合,并结合所述深度图的置信度,生成结构完整和边缘清晰的显著目标预测结果的步骤之后,还包括:根据所述显著目标预测结果和真值图,计算得到损失函数;

根据所述损失函数优化所述Resnet50骨干网络的网络参数,最终得到优化后的显著目标预测结果。

3.根据权利要求1所述的一种基于RGB‑D的显著目标检测方法,其特征在于,所述将每层提取到的RGB特征和Depth特征均输送到门控多模态注意模块,并结合所述深度图的权重,得到基于注意力机制的多模态融合特征的步骤的具体表达式为:其中, 分别表示去除特征冗余后的RGB特征和Depth特征,fdr表示通过深度信息对RGB信息进行精炼后所获取到的特征,frd表示通过RGB特征生成的空间权重去精炼深度特征后所获取到的特征,rf2和df2分别为经过多模态整合后的RGB和深度特征分支,g1,g2均表示深度图的权重,g1+g2=1。

4.根据权利要求2所述的一种RGB‑D的显著目标检测方法,其特征在于,所述损失函数由分类损失函数和回归损失函数组成,具体的计算公式为:llast=lcls+λlreg

其中,lcls,lreg和llast分别表示分类损失函数、回归损失函数和最终损失函数;λ设置为1以表示回归损失函数所占权重。

5.根据权利要求4所述的一种基于RGB‑D的显著目标检测方法,其特征在于,所述分类损失函数的具体计算公式为:其中,i,j表示上采样过程中不同层次的神经网络,ldom和 分别表示主要损失函数和辅助损失函数, 表示侧输出损失函数,λi和αj表示不同损失函数的权重。

6.根据权利要求4所述的一种基于RGB‑D的显著目标检测方法,其特征在于,所述回归损失函数的具体的计算公式为:其中,g表示伪标签, 用于控制深度信息的引入比例,并反映深度图的权重。

7.一种存储介质,其特征在于,所述存储介质为计算机可读存储介质,所述计算机可读存储介质中存储有如权利要求1‑6任一所述的一种基于RGB‑D的显著目标检测方法。