欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021108652624
申请人: 燕山大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-28
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种跨模态人群计数方法,其特征在于,包括:获取包括待计数人群的RGB图像和红外热图像;

根据所述RGB图像得到所述RGB图像的跨模态人群分布信息注意力掩膜;

分别对所述RGB图像和所述红外热图像进行特征提取操作得到所述RGB图像的特征表示和所述红外热图像的特征表示;

根据所述跨模态人群分布信息注意力掩膜和所述RGB图像的特征表示得到RGB图像特征图;

根据所述RGB图像特征图和所述红外热图像的特征表示得到特征图;

对所述特征图进行卷积操作得到人群密度估计图;

根据所述人群密度估计图得到所述待计数人群的总人数。

2.根据权利要求1所述的一种跨模态人群计数方法,其特征在于,所述根据所述RGB图像得到所述RGB图像的跨模态人群分布信息注意力掩膜,具体包括:对所述RGB图像进行特征提取操作得到所述RGB图像的跨模态区分特征表示;

对所述跨模态区分特征表示进行掩模操作得到跨模态人群分布信息注意力掩膜。

3.根据权利要求2所述的一种跨模态人群计数方法,其特征在于,所述对所述RGB图像进行特征提取操作得到所述RGB图像的跨模态区分特征表示,具体包括:将所述RGB图像输入第一子网络模型得到所述RGB图像的跨模态区分特征表示;所述第一子网络模型由上至下依次为两个卷积层,一个池化层,两个卷积层,一个池化层,三个卷积层,一个池化层和三个卷积层。

4.根据权利要求1所述的一种跨模态人群计数方法,其特征在于,所述分别对所述RGB图像和所述红外热图像进行特征提取操作得到所述RGB图像的特征表示和所述红外热图像的特征表示,具体包括:

将所述RGB图像输入RGB图像特征图提取模型得到所述RGB图像的特征表示,所述RGB图像特征图提取模型由上至下依次为两个卷积层,一个池化层,两个卷积层,一个池化层,三个卷积层,一个池化层和三个卷积层;

将所述红外热图像输入红外热图像特征提取模型得到所述红外热图像的特征表示;所述红外热图像特征提取模型由上至下依次为两个卷积层,一个池化层,两个卷积层,一个池化层,三个卷积层,一个池化层和三个卷积层。

5.根据权利要求2所述的一种跨模态人群计数方法,其特征在于,所述对所述跨模态区分特征表示进行掩模操作得到跨模态人群分布信息注意力掩膜,具体包括:将所述跨模态区分特征表示针对通道进行全局最大池化操作,得到第一特征表示;

将所述跨模态区分特征表示针对通道进行全局平均池化操作,得到第二特征表示;

将所述第一特征表示和所述第二特征表示进行通道上的链接操作得到级联结果;

对所述级联结果进行卷积操作得到跨模态人群分布信息注意力掩膜。

6.根据权利要求1所述的一种跨模态人群计数方法,其特征在于,所述根据所述跨模态人群分布信息注意力掩膜和所述RGB图像的特征表示得到RGB图像特征图,具体包括:将所述跨模态人群分布信息注意力掩膜和所述RGB图像的特征表示按元素相乘得到RGB图像特征图。

7.根据权利要求1所述的一种跨模态人群计数方法,其特征在于,所述根据所述RGB图像特征图和所述红外热图像的特征表示得到特征图,具体包括:对所述RGB图像特征图和所述红外热图像的特征表示进行通道上的链接操作得到特征图。

8.根据权利要求1所述的一种跨模态人群计数方法,其特征在于,所述对所述特征图进行卷积操作得到人群密度估计图,具体包括:将所述特征图输入后端网络模型得到人群密度估计图,所述后端网络模型包括七个依次连接的膨胀卷积层。

9.一种跨模态人群计数系统,其特征在于,包括:获取模块,用于获取包括待计数人群的RGB图像和红外热图像;

生成注意力掩膜模块,用于根据所述RGB图像得到所述RGB图像的跨模态人群分布信息注意力掩膜;

特征提取模块,用于分别对所述RGB图像和所述红外热图像进行特征提取操作得到所述RGB图像的特征表示和所述红外热图像的特征表示;

RGB图像特征图确定模块,用于根据所述跨模态人群分布信息注意力掩膜和所述RGB图像的特征表示得到RGB图像特征图;

特征图确定模块,用于根据所述RGB图像特征图和所述红外热图像的特征表示得到特征图;

人群密度估计图确定模块,用于对所述特征图进行卷积操作得到人群密度估计图;

人群计数模块,用于根据所述人群密度估计图得到所述待计数人群的总人数。

10.根据权利要求9所述的一种跨模态人群计数系统,其特征在于,所述生成注意力掩膜模块包括:

跨模态区分特征表示单元,用于对所述RGB图像进行特征提取操作得到所述RGB图像的跨模态区分特征表示;

掩模确定单元,用于对所述跨模态区分特征表示进行掩模操作得到跨模态人群分布信息注意力掩膜。