欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 202110356040X
申请人: 山东师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种用于语义分割的特征图提取方法,其特征在于,包括:获取图片的残差网络特征图,进行类别激活映射,得到热力图;

对残差网络特征图进行卷积操作,计算得到的不同的卷积特征图间同一位置像素点的相关性,得到第一特征图;

对热力图进行卷积操作后,与第一特征图进行第一次融合计算处理,得到第二特征图;

将第二特征图进行卷积操作,计算得到的不同的卷积特征图间同一位置像素点的相关性,得到第三特征图;

将第三特征图与卷积操作后的热力图进行第二次融合计算处理,得到最终的用于语义分割的特征图;

实现用于语义分割的特征图提取方法的具体步骤包括:步骤一:将图片输入主干网络得到特征图H;

步骤二:将特征图H分别输入CAM模块和循环十字注意力模块的第一CrossNet模块;

步骤三:输入CAM模块的特征图H经过处理得到Original CAM特征图,并将其输入循环十字注意力模块的第一CrossNet模块;

步骤四:循环十字注意力模块的第一CrossNet模块将输入的特征图H和Original CAM特征图理后得到特征图H′,特征图H′上的各个像素点与其十字方向上的各个像素点有不同的关联度;将H′和Original CAM特征图输入循环十字注意力模块的第二个模块;

步骤五:循环十字注意力模块的第二个模块将输入的特征图H′和Original CAM特征图处理后得到特征图H″,特征图H″上的各个像素与其余像素都有不同的关联度。

2.根据权利要求1所述的用于语义分割的特征图提取方法,其特征在于,得到第一特征图包括:将残差网络特征图分别通过两个1*1卷积得到两个通道数为C′的卷积特征图Q、K;

C′

取特征图Q上任意一个C′维度的点u,记为Qu∈R ;

(H

将特征图K中和u位于同一行同一列的其他C′维的像素点向量加入到集合Ωu=R+W‑1)×C′,其中,H为图像的高度,W为图像的宽度;

计算得到 代表特征图Q中的像素点u与特征图K中与u在同一行和同一列的像素点之间的相关性,再经过softmax进行归一化,得到第一特征图A。

3.根据权利要求2所述的用于语义分割的特征图提取方法,其特征在于,对热力图进行卷积操作后,与第一特征图进行第一次融合计算处理,得到第二特征图包括:将热力图通过1*1卷积得到通道数为C的卷积特征图V;

(H+W‑1)×C

将特征图V中与u位于同一行同一列的其他C维的像素点向量加入到集合Φu∈R中;

将第一特征图A与Φu相乘再加上初始的残差网络特征图,最终得到与输入图像尺寸相同的第二特征图。

4.根据权利要求3所述的用于语义分割的特征图提取方法,其特征在于,得到第三特征图包括:将第二特征图分别通过两个1*1卷积得到两个通道数为C″的卷积特征图Q′、K′;

C″

取特征图Q′上任意一个C″维度的点u′,记为Qu′∈R ;

(H

将特征图K′中和u′位于同一行同一列的其他C″维的像素点向量加入到集合Ωu′=R+W‑1)×C″;

计算得到 代表特征图Q′中的像素点u′与特征图K′中与u′在同一行和同一列的像素点之间的相关性,再经过softmax进行归一化,得到第三特征图。

5.根据权利要求4所述的用于语义分割的特征图提取方法,其特征在于,第三特征图与卷积操作后的热力图进行第二次融合计算处理,得到最终的用于语义分割的特征图包括:(H

将特征图V中与u′位于同一行同一列的其他C维的像素点向量加入到集合Φu″∈R+W‑1)×C中;

将第三特征图与Φu″相乘再加上初始的残差网络特征图,得到最终用于语义分割的特征图。

6.一种用于语义分割的特征图提取系统,其特征在于,包括:获取模块,用于获取图片的残差网络特征图;

映射模块,用于进行类别激活映射,得到热力图;

第一计算模块,用于对残差网络特征图进行卷积操作,计算得到的不同的卷积特征图间同一位置像素点的相关性,得到第一特征图;

第二计算模块,用于对热力图进行卷积操作后,与第一特征图进行第一次融合计算处理,得到第二特征图;

第三计算模块,用于将第二特征图进行卷积操作,计算得到的不同的卷积特征图间同一位置像素点的相关性,得到第三特征图;

第四计算模块,用于将第三特征图与卷积操作后的热力图进行第二次融合计算处理,得到最终的用于语义分割的特征图;

实现用于语义分割的特征图提取方法的具体步骤包括:步骤一:将图片输入主干网络得到特征图H;

步骤二:将特征图H分别输入CAM模块和循环十字注意力模块的第一CrossNet模块;

步骤三:输入CAM模块的特征图H经过处理得到Original CAM特征图,并将其输入循环十字注意力模块的第一CrossNet模块;

步骤四:循环十字注意力模块的第一CrossNet模块将输入的特征图H和Original CAM特征图理后得到特征图H′,特征图H′上的各个像素点与其十字方向上的各个像素点有不同的关联度;将H′和Original CAM特征图输入循环十字注意力模块的第二个模块;

步骤五:循环十字注意力模块的第二个模块将输入的特征图H′和Original CAM特征图处理后得到特征图H″,特征图H″上的各个像素与其余像素都有不同的关联度。

7.根据权利要求6所述的用于语义分割的特征图提取系统,其特征在于,第一计算模块被配置为:将残差网络特征图分别通过两个1*1卷积得到两个通道数为C′的卷积特征图Q、K;

C′

取特征图Q上任意一个C′维度的点u,记为Qu∈R ;

(H

将特征图K中和u位于同一行同一列的其他C′维的像素点向量加入到集合Ωu=R+W‑1)×C′,其中,H为图像的高度,W为图像的宽度;

计算得到 代表特征图Q中的像素点u与特征图K中与u在同一行和同一列的像素点之间的相关性,再经过softmax进行归一化,得到第一特征图A。

8.根据权利要求7所述的用于语义分割的特征图提取系统,其特征在于,第二计算模块被配置为:将热力图通过1*1卷积得到通道数为C的卷积特征图V;

(H+W‑1)×C

将特征图V中与u位于同一行同一列的其他C维的像素点向量加入到集合Φu∈R中;

将第一特征图A与Φu相乘再加上初始的残差网络特征图,最终得到与输入图像尺寸相同的第二特征图。

9.根据权利要求8所述的用于语义分割的特征图提取系统 ,其特征在于,第三计算模块被配置为:将第二特征图分别通过两个1*1卷积得到两个通道数为C″的卷积特征图Q′、K′;

C″

取特征图Q′上任意一个C″维度的点u′,记为Qu′∈R ;

(H

将特征图K′中和u′位于同一行同一列的其他C″维的像素点向量加入到集合Ωu′=R+W‑1)×C″;

计算得到 代表特征图Q′中的像素点u′与特征图K′中与u′在同一行和同一列的像素点之间的相关性,再经过softmax进行归一化,得到第三特征图。

10.根据权利要求9所述的用于语义分割的特征图提取系统,其特征在于,第四计算模块被配置为:(H

将特征图V中与u′位于同一行同一列的其他C维的像素点向量加入到集合Φu″∈R+W‑1)×C中;

将第三特征图与Φu″相乘再加上初始的残差网络特征图,得到最终用于语义分割的特征图。