1.一种用于RGB‑D图像分割的方法,其特征在于,包括以下步骤:
S1、获取目标图像的RGB图像和深度图像;分别构建RGB图像特征提取与下采样网络、深度图像特征提取与下采样网络;
其中RGB图像特征提取与下采样网络包括依次连接的第一图像切分模块、第一特征提取与下采样模块、第二特征提取与下采样模块、第三特征提取与下采样模块和第四特征提取与下采样模块;
深度图像特征提取与下采样网络包括依次连接的卷积层、第二图像切分模块、第五特征提取与下采样模块、第六特征提取与下采样模块、第七特征提取与下采样模块和第八特征提取与下采样模块;
S2、将第五特征提取与下采样模块的输出通过第一softmax层后的结果与第一特征提取与下采样模块的输出相乘,得到第一矩阵;
S3、将第六特征提取与下采样模块的输出通过第二softmax层后的结果与第二特征提取与下采样模块的输出相乘,得到第二矩阵;
S4、将第七特征提取与下采样模块的输出通过第三softmax层后的结果与第三特征提取与下采样模块的输出相乘,得到第三矩阵;
S5、将第八特征提取与下采样模块的输出通过第四softmax层后的结果与第四特征提取与下采样模块的输出相乘,得到第四矩阵;
S6、将第四特征提取与下采样模块的输出通过瓶颈层后的结果与第四矩阵相加,得到第五矩阵;
S7、通过第一上采样模块对第五矩阵进行上采样处理,将处理结果与第三矩阵相加,得到第六矩阵;
S8、通过第二上采样模块对第六矩阵进行上采样处理,将处理结果与第二矩阵相加,得到第七矩阵;
S9、通过第三上采样模块对第七矩阵进行上采样处理,将处理结果与第一矩阵相加,得到第八矩阵;
S10、通过第四上采样模块对第八矩阵进行上采样处理,将处理结果进行重构,得到图像分割结果。
2.根据权利要求1所述的用于RGB‑D图像分割的方法,其特征在于,第一图像切分模块和第二图像切分模块均采用Patch Partition层。
3.根据权利要求1所述的用于RGB‑D图像分割的方法,其特征在于,第一特征提取与下采样模块和第五特征提取与下采样模块结构相同,均包括依次连接的Linear Embedding层和Swin Transformer Block层。
4.根据权利要求1所述的用于RGB‑D图像分割的方法,其特征在于,第二特征提取与下采样模块、第三特征提取与下采样模块、第四特征提取与下采样模块、第六特征提取与下采样模块、第七特征提取与下采样模块和第八特征提取与下采样模块的结构相同,均包括依次连接的Patch Merging层和Swin Transformer Block层。
5.根据权利要求1所述的用于RGB‑D图像分割的方法,其特征在于,每个上采样模块均包括依次连接的多层感知机和上采样层。