欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2022105869910
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于卷积神经网络的360度图像显著目标检测方法,其特征在于,包括如下步骤:S1、图像转换

S1‑1、创建等距形360度图像的数据集;

S1‑2、建立图像转换模块;

S1‑3、读取数据集中的等距形360度图像后,利用图像转换模块生成对应的立方体投影图像;

S2、搭建特征金字塔网络,对等距形360度图像以及转化后得到的立方体投影图像进行特征提取,得到等距形360度图像特征和立方体投影特征;

S3、采用四个完全相同的特征聚合模块,每个特征聚合模块由一个特征转换子模块完成立方体投影特征向等距形特征转换,并与等距形360度图像特征进行组合,然后使用一个空洞卷积池化金字塔子模块实现组合特征的优化,从而得到多层次的聚合特征;

S4、将多层次的聚合特征连接并馈送到注意力集成模块,通过推断空间和通道注意机制自适应地选择可靠空间和通道信息与多层次的聚合特征融合得到最终特征并完成显著目标检测。

2.根据权利要求1所述的基于卷积神经网络的360度图像显著目标检测方法,其特征在于,所述步骤S1‑2中,利用等距形投影与立方体投影的映射关系将等距形360度图像生成对应的立方体投影图像。

3.根据权利要求2所述的基于卷积神经网络的360度图像显著目标检测方法,其特征在于,所述等距形投影与立方体投影的映射关系的表达式如下:qi=Rfi·pi

其中,θfi、φfi代表等距形投影下的经纬度, 是q坐标的x,y,z分量,Rfi表示旋转矩阵,fi为已知某个成像平面,pi为已知成像平面fi上的一点,x,y,z表示pi的三维坐标,其中0≤x,y≤w‑1, w为立方体投影图像的边长。

4.根据权利要求1所述的基于卷积神经网络的360度图像显著目标检测方法,其特征在于,所述特征金字塔网络输入的图像数据包括等距形360度图像和立方体投影图像,所述等距形360度图像和与其对应的立方体投影图像形成一个图像样本。

5.根据权利要求4所述的基于卷积神经网络的360度图像显著目标检测方法,其特征在于,所述特征金字塔网络搭建的方法为:采用FPN作为主干网络,其中自下而上通路是基于Resnet‑50搭建。

6.根据权利要求5所述的基于卷积神经网络的360度图像显著目标检测方法,其特征在于,所述步骤S2中,特征提取方法为:对每个图像样本的七张输入图像,即等距形投影图像和立方体投影图像的上、下、左、右、前、后六个面图像,均采用特征金字塔网络进行特征提取,得到等距形图像特征和立方体投影特征,在特征金字塔网络中每个独立的FPN特征提取模块的上层Resnet作为前馈Backbone的一部分,每一级往上用步长step=2进行降采样,用输出的2至5级特征参与预测,conv2~5的输出层,最后一个残差block层,作为FPN的特征,分别对应于输入图片的下采样倍数为4,

8,16,32,下层自顶向下的过程通过上采样的方式将最右侧的小特征图放大到与其左侧特征图一样的大小,最终和上层特征融合后逐层输出得到各层特征结果F1~4。

7.根据权利要求1所述的基于卷积神经网络的360度图像显著目标检测方法,其特征在于,所述步骤S3中,通过四个完全相同的特征聚合模块输出四组特征的集合。

8.根据权利要求6所述的基于卷积神经网络的360度图像显著目标检测方法,其特征在于,所述特征转换子模块的转换方法为:利用立方体投影特征和等距形图像特征之间的映射关系,将6个立方体投影特征转换为等距形投影特征。

9.根据权利要求8所述的基于卷积神经网络的360度图像显著目标检测方法,其特征在于,所述空洞卷积池化金字塔子模块的优化方法为:对于给定的输入以不同采样率的空洞卷积并行采样,将得到的结果拼接到一起,扩大通道数,然后再通过1*1的卷积将通道数降低到预期的数值,相当于以多个比例捕捉图像的上下文,其核心在于使用多个不同尺寸滑动窗口池对上层的卷积层获得的特征图进行采样,将分别得到的结果进行合并就会得到固定长度的输出,从而输出多层次的聚合特征。