欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019104621776
申请人: 燕山大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于双注意力多尺度级联网络的目标计数方法,其特征在于,包括:获取灰度化处理后的图像;

将所述灰度化处理后的图像输入至双注意力多尺度级联网络的初始模块进行初始特征提取,得到初始特征图;所述初始模块包括两个卷积层;

将所述初始特征图输入至所述双注意力多尺度级联网络的第一分支网络,得到低层细节特征图和高层语义特征图;所述第一分支网络包括多个卷积层和多个池化层;

将所述低层细节特征图和所述高层语义特征图进行通道注意力变换,生成全局特征信息;

将所述初始特征图输入至所述双注意力多尺度级联网络中的第二分支网络的空间注意力金字塔结构,生成图像的多尺度特征;

将所述多尺度特征和所述全局特征信息进行融合,得到融合结果;

将所述融合结果进行特征抽取,生成估计的目标分布密度图;

将所述目标分布密度图进行像素求和,得到估计的目标计数结果。

2.根据权利要求1所述的基于双注意力多尺度级联网络的目标计数方法,其特征在于,所述将所述低层细节特征图和所述高层语义特征图进行通道注意力变换,生成全局特征信息,具体包括:将所述高层语义特征图进行全局池化,得到全局池化后的特征图;

将所述全局池化后的特征图进行一个1×1的卷积,得到卷积后的高层语义特征图;

将所述卷积后的高层语义特征图和所述低层细节特征图进行对应元素相乘,得到全局特征信息。

3.根据权利要求1所述的基于双注意力多尺度级联网络的目标计数方法,其特征在于,所述空间注意力金字塔结构包括1个主分支和5个子分支,依次为第一子分支、第二子分支、第三子分支、第四子分支和第五子分支;所述主分支依次包括一个卷积层、一个池化层和两个卷积层,所述第一子分支依次包括一个卷积层和一个Sigmoid层;所述第二子分支包括一个扩张卷积层;所述第三子分支依次包括一个池化层和两个扩张卷积层;所述第四子分支依次包括一个池化层和两个扩张卷积层;所述第五子分支依次包括一个池化层和两个扩张卷积层。

4.根据权利要求书3所述的基于双注意力多尺度级联网络的目标计数方法,其特征在于,所述主分支中每个卷积层的卷积核尺寸由输入至输出方向依次为7×7、5×5和5×5,各所述卷积层生成的特征图通道数由输入至输出方向依次为32、32和16;所述主分支中池化层的类型为步长为2的最大池化层;

所述第一子分支中卷积层的卷积核尺寸为1×1,生成的特征图通道数为24;

所述第二子分支中扩张卷积层的卷积核尺寸为1×1,采样率为1,生成的特征图通道数为24;

所述第三子分支中池化层的类型为步长为2的最大池化层;所述第三子分支中每个扩张卷积层的卷积核尺寸均为3×3,每个扩张卷积层的采样率均为4,每个卷积层生成的特征图通道数均为8;

所述第四子分支中池化层的类型为步长为2的最大池化层;所述第四子分支中每个扩张卷积层的卷积核尺寸均为3×3,每个扩张卷积层的采样率均为3,每个卷积层生成的特征图通道数均为8;

所述第五子分支中池化层的类型为步长为2的最大池化层;所述第五子分支中每个扩张卷积层的卷积核尺寸均为3×3,每个扩张卷积层的采样率均为2,每个卷积层生成的特征图通道数均为8。

5.根据权利要求书4所述的基于双注意力多尺度级联网络的目标计数方法,其特征在于,所述将所述初始特征图输入至所述双注意力多尺度级联网络中的第二分支网络的空间注意力金字塔结构,生成图像的多尺度特征,具体包括:将所述初始特征图输入至所述空间注意力金字塔结构的主分支中,得到主分支特征图;

将所述主分支特征图输入第一子分支,得到第一子分支特征图;

将所述主分支特征图输入第二子分支,得到第二子分支特征图;

将所述主分支特征图输入至第三子分支,经过所述第三子分支中的两个扩张卷积层依次得到第三子分支初步特征图和第三子分支特征图;

将所述第三子分支初步特征图输入至所述第四子分支,经过所述第四子分支中的两个扩张卷积层依次得到第四子分支初步特征图和第四子分支特征图;

将所述第四子分支初步特征图输入至所述第五子分支,得到第五子分支特征图;

将所述第五子分支特征图经过一个卷积核尺寸为4×4、步长为2的反卷积得到上采样后的第五子分支特征图;

将所述上采样后的第五子分支特征图和第四子分支特征图进行通道上的链接,得到四五子分支特征图;所述反卷积操作生成的特征图通道数为8;所述四五子分支特征图通道数为16;

将所述四五子分支特征图经过一个卷积核尺寸为4×4、步长为2的反卷积得到上采样后的四五子分支特征图;

将所述上采样后的四五子分支特征图和第三子分支特征图进行通道上的链接,得到三四五子分支特征图;所述反卷积操作生成的特征图通道数为16;所述三四五子分支特征图通道数为24;

将所述三四五子特征图和所述第二子分支特征图进行对应元素相乘,得到二三四五子特征图;

将所述第一子分支特征图和所述第二子分支特征图进行对应元素相乘,得到一二子特征图;

将所述二三四五子特征图和所述一二子特征图进行通道上的链接,得到多尺度特征。

6.根据权利要求1所述的基于双注意力多尺度级联网络的目标计数方法,其特征在于,所述将所述多尺度特征和所述全局特征信息进行融合,得到融合结果,具体包括:将所述多尺度特征和所述全局特征信息进行通道上的链接,得到全局多尺度特征,所述全局多尺度特征为融合结果。

7.根据权利要求1所述的基于双注意力多尺度级联网络的目标计数方法,其特征在于,所述将所述融合结果进行特征抽取,生成估计的目标分布密度图,具体包括:将所述融合结果进行特征抽取操作,依次经过三个卷积层、两个反卷积层和一个卷积层,得到目标分布密度图;所述特征抽取操作的四个卷积层的卷积核尺寸依次为3×3、3×

3、3×3和1×1,生成的特征图通道数依次为32、24、16和1;所述特征抽取操作的两个反卷积层的卷积核尺寸均为4×4,生成的特征图通道数依次为16和8,步长均为2。

8.根据权利要求1所述的基于双注意力多尺度级联网络的目标计数方法,其特征在于,在所述将所述目标分布密度图进行像素求和,得到估计的目标计数结果之后,还包括:获取全连接层和特征抽取操作的损失函数;

将所述全连接层和特征抽取操作的损失函数进行加权,得到级联网络的整体损失函数;所述全连接层的损失函数采用交叉熵函数,所述特征抽取操作的损失函数为估计的目标分布密度图和真实的目标分布密度图之间的欧氏距离;

根据所述级联网络的整体损失函数确定所述级联网络的误差;

将所述误差进行反向传播,更新所述级联网络的权重参数,经过多次迭代,得到训练好的用于目标计数的模型。

9.一种基于双注意力多尺度级联网络的目标计数系统,其特征在于,包括:获取模块,用于获取灰度化处理后的图像;

第一特征提取模块,用于将所述灰度化处理后的图像输入至双注意力多尺度级联网络的初始模块进行初始特征提取,得到初始特征图;所述初始模块包括两个卷积层;

低层细节特征图、高层语义特征图确定模块,用于将所述初始特征图输入至所述双注意力多尺度级联网络的第一分支网络,得到低层细节特征图和高层语义特征图;所述第一分支网络包括多个卷积层和多个池化层;

变换模块,用于将所述低层细节特征图和所述高层语义特征图进行通道注意力变换,生成全局特征信息;

多尺度特征确定模块,用于将所述初始特征图输入至所述双注意力多尺度级联网络中的第二分支网络的空间注意力金字塔结构,生成图像的多尺度特征;

融合模块,用于将所述多尺度特征和所述全局特征信息进行融合,得到融合结果;

第二特征提取模块,将所述融合结果进行特征抽取,生成估计的目标分布密度图;

目标计数结果确定模块,用于将所述目标分布密度图进行像素求和,得到估计的目标计数结果。

10.根据权利要求9所述的基于双注意力多尺度级联网络的目标计数系统,其特征在于,所述变换模块,具体包括:全局池化单元,用于将所述高层语义特征图进行全局池化,得到全局池化后的特征图;

卷积处理单元,用于将所述全局池化后的特征图进行一个1×1的卷积,得到卷积后的高层语义特征图;

相乘处理单元,用于将所述卷积后的高层语义特征图和所述低层细节特征图进行对应元素相乘,得到全局特征信息。