1.一种用于语义分割的特征图提取方法,其特征在于,包括:获取图片的残差网络特征图,进行类别激活映射,得到热力图;
对残差网络特征图进行卷积操作,计算得到的不同的卷积特征图间同一位置像素点的相关性,得到第一特征图;
对热力图进行卷积操作后,与第一特征图进行第一次融合计算处理,得到第二特征图;
将第二特征图进行卷积操作,计算得到的不同的卷积特征图间同一位置像素点的相关性,得到第三特征图;
将第三特征图与卷积操作后的热力图进行第二次融合计算处理,得到最终的用于语义分割的特征图;
实现用于语义分割的特征图提取方法的具体步骤包括:步骤一:将图片输入主干网络得到特征图H;
步骤二:将特征图H分别输入CAM模块和循环十字注意力模块的第一CrossNet模块;
步骤三:输入CAM模块的特征图H经过处理得到Original CAM特征图,并将其输入循环十字注意力模块的第一CrossNet模块;
步骤四:循环十字注意力模块的第一CrossNet模块将输入的特征图H和Original CAM特征图理后得到特征图H′,特征图H′上的各个像素点与其十字方向上的各个像素点有不同的关联度;将H′和Original CAM特征图输入循环十字注意力模块的第二个模块;
步骤五:循环十字注意力模块的第二个模块将输入的特征图H′和Original CAM特征图处理后得到特征图H″,特征图H″上的各个像素与其余像素都有不同的关联度。
2.根据权利要求1所述的用于语义分割的特征图提取方法,其特征在于,得到第一特征图包括:将残差网络特征图分别通过两个1*1卷积得到两个通道数为C′的卷积特征图Q、K;
C′
取特征图Q上任意一个C′维度的点u,记为Qu∈R ;
(H
将特征图K中和u位于同一行同一列的其他C′维的像素点向量加入到集合Ωu=R+W‑1)×C′,其中,H为图像的高度,W为图像的宽度;
计算得到 代表特征图Q中的像素点u与特征图K中与u在同一行和同一列的像素点之间的相关性,再经过softmax进行归一化,得到第一特征图A。
3.根据权利要求2所述的用于语义分割的特征图提取方法,其特征在于,对热力图进行卷积操作后,与第一特征图进行第一次融合计算处理,得到第二特征图包括:将热力图通过1*1卷积得到通道数为C的卷积特征图V;
(H+W‑1)×C
将特征图V中与u位于同一行同一列的其他C维的像素点向量加入到集合Φu∈R中;
将第一特征图A与Φu相乘再加上初始的残差网络特征图,最终得到与输入图像尺寸相同的第二特征图。
4.根据权利要求3所述的用于语义分割的特征图提取方法,其特征在于,得到第三特征图包括:将第二特征图分别通过两个1*1卷积得到两个通道数为C″的卷积特征图Q′、K′;
C″
取特征图Q′上任意一个C″维度的点u′,记为Qu′∈R ;
(H
将特征图K′中和u′位于同一行同一列的其他C″维的像素点向量加入到集合Ωu′=R+W‑1)×C″;
计算得到 代表特征图Q′中的像素点u′与特征图K′中与u′在同一行和同一列的像素点之间的相关性,再经过softmax进行归一化,得到第三特征图。
5.根据权利要求4所述的用于语义分割的特征图提取方法,其特征在于,第三特征图与卷积操作后的热力图进行第二次融合计算处理,得到最终的用于语义分割的特征图包括:(H
将特征图V中与u′位于同一行同一列的其他C维的像素点向量加入到集合Φu″∈R+W‑1)×C中;
将第三特征图与Φu″相乘再加上初始的残差网络特征图,得到最终用于语义分割的特征图。
6.一种用于语义分割的特征图提取系统,其特征在于,包括:获取模块,用于获取图片的残差网络特征图;
映射模块,用于进行类别激活映射,得到热力图;
第一计算模块,用于对残差网络特征图进行卷积操作,计算得到的不同的卷积特征图间同一位置像素点的相关性,得到第一特征图;
第二计算模块,用于对热力图进行卷积操作后,与第一特征图进行第一次融合计算处理,得到第二特征图;
第三计算模块,用于将第二特征图进行卷积操作,计算得到的不同的卷积特征图间同一位置像素点的相关性,得到第三特征图;
第四计算模块,用于将第三特征图与卷积操作后的热力图进行第二次融合计算处理,得到最终的用于语义分割的特征图;
实现用于语义分割的特征图提取方法的具体步骤包括:步骤一:将图片输入主干网络得到特征图H;
步骤二:将特征图H分别输入CAM模块和循环十字注意力模块的第一CrossNet模块;
步骤三:输入CAM模块的特征图H经过处理得到Original CAM特征图,并将其输入循环十字注意力模块的第一CrossNet模块;
步骤四:循环十字注意力模块的第一CrossNet模块将输入的特征图H和Original CAM特征图理后得到特征图H′,特征图H′上的各个像素点与其十字方向上的各个像素点有不同的关联度;将H′和Original CAM特征图输入循环十字注意力模块的第二个模块;
步骤五:循环十字注意力模块的第二个模块将输入的特征图H′和Original CAM特征图处理后得到特征图H″,特征图H″上的各个像素与其余像素都有不同的关联度。
7.根据权利要求6所述的用于语义分割的特征图提取系统,其特征在于,第一计算模块被配置为:将残差网络特征图分别通过两个1*1卷积得到两个通道数为C′的卷积特征图Q、K;
C′
取特征图Q上任意一个C′维度的点u,记为Qu∈R ;
(H
将特征图K中和u位于同一行同一列的其他C′维的像素点向量加入到集合Ωu=R+W‑1)×C′,其中,H为图像的高度,W为图像的宽度;
计算得到 代表特征图Q中的像素点u与特征图K中与u在同一行和同一列的像素点之间的相关性,再经过softmax进行归一化,得到第一特征图A。
8.根据权利要求7所述的用于语义分割的特征图提取系统,其特征在于,第二计算模块被配置为:将热力图通过1*1卷积得到通道数为C的卷积特征图V;
(H+W‑1)×C
将特征图V中与u位于同一行同一列的其他C维的像素点向量加入到集合Φu∈R中;
将第一特征图A与Φu相乘再加上初始的残差网络特征图,最终得到与输入图像尺寸相同的第二特征图。
9.根据权利要求8所述的用于语义分割的特征图提取系统 ,其特征在于,第三计算模块被配置为:将第二特征图分别通过两个1*1卷积得到两个通道数为C″的卷积特征图Q′、K′;
C″
取特征图Q′上任意一个C″维度的点u′,记为Qu′∈R ;
(H
将特征图K′中和u′位于同一行同一列的其他C″维的像素点向量加入到集合Ωu′=R+W‑1)×C″;
计算得到 代表特征图Q′中的像素点u′与特征图K′中与u′在同一行和同一列的像素点之间的相关性,再经过softmax进行归一化,得到第三特征图。
10.根据权利要求9所述的用于语义分割的特征图提取系统,其特征在于,第四计算模块被配置为:(H
将特征图V中与u′位于同一行同一列的其他C维的像素点向量加入到集合Φu″∈R+W‑1)×C中;
将第三特征图与Φu″相乘再加上初始的残差网络特征图,得到最终用于语义分割的特征图。