1.一种基于多尺度特征融合的RGBD显著性检测方法,其特征在于,步骤如下:步骤(1)、构建显著性检测模型;
显著性检测模型包括双流特征提取模块、多尺度特征池化模块、多尺度特征聚合模块、深度融合模块和显著性边界细化模块;
步骤(2)、通过HHA算法处理RGB图像I的原始深度图像,获得深度图像D;
步骤(3)、将RGB图像I及其深度图像D输入显著性检测模型中,通过双流特征提取模块中的RGB图像特征提取分支和深度图像特征提取分支分别提取多级RGB图像特征{Ii,i=1,
2,3,4}和深度图像特征{Di,i=1,2,3,4};
步骤(4)、通过多尺度特征池化模块和多尺度特征聚合模块进一步提取深层次特征;同时利用深度融合模块逐级融合来自于特征提取分支、多尺度特征池化模块和多尺度特征聚合模块的特征;
步骤(5)、显著性边界细化模块通过来自于RGB图像特征提取分支和深度图像特征提取分支的浅层特征进行边界约束,达到细化边界的目的;同时利用深度融合模块的输出特征进行全局约束,达到全局优化的目的;
步骤(4)、通过多尺度特征池化模块和多尺度特征聚合模块进一步提取深层次特征;同时利用深度融合模块逐级融合来自于特征提取分支、多尺度特征池化模块和多尺度特征聚合模块的特征;
对于得到的多级RGB图像特征{Ii,i=1,2,3,4}和深度图像特征{Di,i=1,2,3,4},按元素相加后得到初步融合特征{IDi,i=2,3,4};特别地,将融合特征ID4通过一个包含三个卷积层的卷积块后送入多尺度特征池化模块;
多尺度特征池化模块包括四个子分支,用以获得输入特征数据的上下文信息,其中第一子分支采用了全局均值池化层,得到1×1的特征表示;第二子分支和第三个分支均采用自适应均值池化层,分别得到3×3和5×5的特征表示;第四子分支采用直接跳连的方式将输入特征连接到输出端;第一、第二和第三子分支利用1×1的卷积层进一步强化特征表达,同时保持特征尺寸和通道数不变;对于上述通过卷积学习得到的特征表示,进一步分别上采样到输入特征的大小,采取双线性插值的上采样策略;最后,通过通道级联的方式将四个子分支的特征进行组合,得到融合了多尺度池化的特征表示{MPj,j=2×,4×,8×};
多尺度特征聚合模块包括四个子分支,其中第一子分支、第二子分支和第三子分支采用使用了常规的均值池化层,分别将相应的特征下采样到原尺寸的1/8、1/4、1/2,接着利用
3×3的卷积层进一步强化特征表达,同时保持特征尺寸和通道数不变;第四子分支采用直接跳连的方式将输入特征连接到输出端;为得到与输入特征尺寸大小相同的特征表示,进一步使用双线性插值法分别将第一子分支、第二子分支和第三子分支获得的不同尺度的特征进行8倍、4倍、2倍的上采样,并连同第四子分支的跳连特征进行按元素相加的操作,在保持通道数不变的前提下实现多尺度特征的聚合;为降低上采样操作和按元素相加操作带来的混叠效应,采用一个卷积核为3×3、步长为1、填充为1的卷积层来进行处理,最终得到尺寸大小和通道数均与输入特征保持一致的多尺度聚合的特征表示{MAi,i=1,2,3,4};
深度融合模块用于对来自于特征提取分支的特征{IDi,i=2,3,4}、多尺度特征池化模块的特征{MPj,j=2×,4×,8×}和多尺度特征聚合模块的特征{MAi,i=1,2,3,4}进行融合,定义如下:
其中,Up(·)表示双线性插值上采样操作,C(·)表示卷积核为3×3的卷积操作;
步骤(5)、显著性边界细化模块通过来自于RGB图像特征提取分支和深度图像特征提取分支的浅层特征进行边界约束,达到细化边界的目的;同时利用深度融合模块的输出特征进行全局约束,达到全局优化的目的;
显著性边界细化模块将特征提取分支中包含丰富边缘信息的特征用于进行边缘约束,强化对边缘特征的学习,采用第二个卷积块的输出特征,即I2和D2,整个模块可以表示为如下的形式:
Edge=C(I2+D2), (2)其中,C(·)表示卷积核为1×1、步长为1的卷积操作;采用HED方法提取相关RBGD数据集的边缘信息作为标准的边缘图像;在执行边缘约束时,以平衡交叉熵损失函数作为目标函数进行优化,有效地缓解样本不平衡的问题。
2.根据权利要求1所述的一种基于多尺度特征融合的RGBD显著性检测方法,其特征在于,通过ResNet50预训练模型初始化RGB图像特征提取分支和深度图像特征提取分支的权重参数,其他部分的权重则使用“msra”方法初始化;在模型训练阶段,以交叉熵损失函数作为目标函数进行优化,使用Adam优化算法,动量设为0.9,权重衰减率设为0.0001,基本学习‑5
率设为5×10 ,批大小设为1;对于训练数据集,使用镜面反射和旋转技术实现数据的增广。