1.一种面向360度全景图像的显著性目标检测方法,其特征在于包括如下步骤:步骤(1).输入预处理,具体方法如下:利用已有的E2C库将数据集中的等距柱状RGB图像,通过计算机自动切割与修复边缘,得到六个方向的等角度立方体贴图,并将原RGB图像与六张立方体贴图进行自然图像正则化;
步骤(2).构建深度特征提取网络,提取深度特征;
步骤(3).采用分级融合网络的方式进行双型特征融合;
步骤(4).多层信息记忆融合;
步骤(5).显著性预测,将多层信息融合网络中各层得到的输出经过一个1X1卷积后得到双通道的结果,并和一个SoftMax层连接,得到最终输出;
步骤(6).对深度特征提取网络、双型特征融合网络和多层信息融合记忆网络、显著性预测网络以端到端的方式联合训练;
步骤(2)具体实现如下:
深度特征提取网络由等距柱状图空间特征提取和等角度立方体贴图空间特征提取双支路组成;所述的等距柱状图空间特征提取分支和所述的和等角度立方体贴图空间特征提取分支基于VGG‑19模型构建;所述两个空间特征提取分支均包括5个卷积块,卷积核大小设置为3×3,步幅大小为1,以及4个最大池化层,池化大小设置为2×2,步幅大小为2;等距柱状图空间特征提取分支的输入为等距柱状RGB图像Fr,所述的等角度立方体贴图空间特征提取分支的输入为对应的六层等角度立方体贴图Fc,所述的等距柱状图空间特征所述的等角度立方体贴图空间特征 i表示第i个卷积块;
步骤(3)具体实现如下:
3‑1.已有的C2E相关库将得到的等角度立方体贴图特征投影成等距柱形特征i将 和 在通道维度拼接得到总特征{F ,i=1,2,3,4,5}
3‑2.采用注意力模块来对深度特征进行筛选,获得总特征中每一级的深度特征的显著性区域,通道注意力模块产生的深度特征图 的定义为:其中,*表示卷积运算,Ws是卷积滤波器,bs表示偏差参数;
3‑3.通过SoftMax操作获得 和 二者的注意力权重其中,(x,y)表示每个深度特征的空间坐标,(W,H)表示每个深度特征图 的纵横比,
3‑4.根据注意力权重选择有效的多级注意力深度特征其中,*表示在通道维度上进行Hadamard矩阵乘积运算; 为注意力模块生成的多级注意力深度特征;所述的多级注意力深度特征包括注意力深度等距柱形特征 和注意力等角度立方体贴图特征投影
3‑5.将有效的双型特征进行融合:
s
其中D(·)表示concatenation操作; 表示使用速率集R中不同的扩张速率ir多次执行OP操作并返回所有结果;Convd表示不同尺度的空洞卷积;θ是在第i层中学习的参数;
步骤(4)具体实现如下:
将得到的五层复合特征信息特征 经过信息集成模组后得到 并以第五层到第一层的顺序依次输入到门控循环单元,从而将高级语义信息与低级语义信息逐级记忆、筛选、融合,定义如下:(i=5,4,3,2,1) (12)其中:
是信息集成模组,将各层信息以通道注意力权重进行融合;
i
Z是更新门,更新激活函数时的逻辑门;
i
R是重置门,决定候选隐藏状态时是否放弃以前的隐藏状态;
是候选隐藏状态,接收
i
H是隐藏状态,是GRU的隐层,接收
表示Hadamard乘积,σ(·)表示sigmoid函数;
步骤(6)具体实现如下:
使用Adam优化算法对网络模型进行训练,其中动量为0.9,权重衰减率为0.0005,基本‑5学习率为10 ;采用VGG‑19模型将等距柱状图空间特征提取分支和等角度立方体贴图空间特征提取分支的权重参数初始化;
对于具有N个训练样本的数据集 其中,表示具有Np个像素点的预测图; 表示具有Np个像素点的二进制真值图;
表示显著目标像素, 表示背景像素,删除下标n,则损失函数为:其中,W表示卷积核的权重,b表示卷积层的偏置,Y+表示显著目标的标签,Y‑表示背景的j标签;β表示显著目标像素在真值图中所占的比率, P(Y=1|F;W,b)表示像素属于显著目标的概率。