欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020104189605
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于编解码‑跳跃连接尺度金字塔网络的人群计数方法,其特征在于包括如下步骤:步骤(1)获取人群数据集,将数据集中的每张图片,根据数据集中带有的人头位置标注,利用二维高斯卷积核,生成对应的人群密度图标签,然后进行数据增强操作;

步骤(2)通过加权跳跃连接的方式将四个级联尺度金字塔模块进行信息整合,构建特征提取编码器(FEE);

步骤(3)通过反卷积和融合的方式,构建密度图解码器(DMD);

步骤(4)FEE和DMD进行组合,构建ED‑SSPNet模型;

步骤(5)将人群图像数据输入训练好的ED‑SSPNet模型,输出对应图像的密度图,对模型输出的密度图积分,统计出图像中人群数量;

步骤(1)所述,具体实现过程如下:

1‑1.获取人群数据集,将数据集中每张原始图像根据标签数据生成对应的密度图,所述的标签数据指的是原始图像中所标出的人头中心在图像中的像素位置,生成的密度图表示为:其中,xi表示人头中心在图像中的像素位置,δ(x‑xi)表示为delta函数,N为图像中的人群总数, 为距离xi最近的m个行人之间的平均距离, 为归一化高斯核函数,在这里超参数β=0.3,m=3;

1‑2.数据增强,将每一张原始图像和对应的密度图大小调整到1024*768;

首先,对调整后的原始图像和对应密度图进行9等分互不重叠的裁剪,得到9对关于图像‑密度图的数据;

然后,对调整后的原始图像和对应密度图进行随机裁剪,再得到9对关于图像‑密度图的数据;

步骤(2)所述,具体实现过程如下:

2‑1.构建级联尺度金字塔模块(CSPM);

2‑1‑1.对输入CSPM的特征图,采用1*1卷积的方式进行降维操作;

2‑1‑2.利用含有空洞率分别为1,4,8,16的四种空洞卷积对步骤2‑1‑1中降维操作后的特征图进行并行卷积,得到四种大小相同的特征图;

2‑1‑3.将步骤2‑1‑2中得到的四个特征图进行四层的级联操作,将各层级联操作所产生的的特征图进行concat操作,然后与步骤2‑1‑1中未降维操作的原始输入特征图相加产生最终的输出;

其中,各层级联操作所获得的特征输出公式如下所示:

表示第s层的融合特征,通道连接在一起的最终输出得到尺度金字塔W和H表示特征图的宽度和高度,s表示级联层数,Cs表示最终通道数量,R表示特征图;

2‑2.前端使用含有2,4,8三种不同空洞率的串联卷积组成的SSPNet网络,后端使用加权跳跃连接的方式将4个CSPM进行信息融合构建特征提取编码器(FEE);

所构建特征提取编码器(FEE)后端包括四个CSPM和三个连接层,具体加权跳跃连接的方式为1‑CSPM和2‑CSPM相连,2‑CSPM和3‑CSPM相连,3‑CSPM和4‑CSPM相连;三个相连设置权重规则如下:其中,i为第i次相连,取值为1或2或3,设第一次连接权重为w,则各个层次中权重值分为为w,步骤(3)所述通过反卷积和融合的方式,构建特征映射解码器(DMD),具体实现过程如下:

3‑1.将步骤2‑2中特征提取编码器(FEE)加权跳跃连接产生的3组融合特征以及特征提取编码器(FEE)前端的SPPNet网络提取的特征,分别使用1*1卷积进行降维,传递到密度图解码器(DMD)中;所述的融合特征由1‑CSPM和2‑CSPM相连,2‑CSPM和3‑CSPM相连,3‑CSPM和

4‑CSPM相连后分别输出,前一层的融合特征作为后一层的输入特征;

3‑2.将步骤3‑1中获得的3个融合特征和SPPNet网络提取的特征,进行反卷积和融合操作获得最终融合特征,从而并恢复分辨率以及图像细节信息;

3‑3.使用1*1Conv对最终融合特征映射为密度图;

步骤(4)将特征提取编码器FEE和密度图解码器(DMD)进行组合,构建ED‑SSPNet模型,具体设计方式如下:

4‑1.确认ED‑SSPNet模型的具体参数;

4‑2.设计损失函数,在损失函数中,选择欧氏距离来评估真实密度图和估计密度图之间的差异;利用欧几里德损失来度量像素级的估计误差;损失函数如下:其中,N是训练批次大小,F(Xi;θ)是ED‑SSPNet模型产生的估计密度图,Fi是输入图像的真实密度图;此外,还关注实际计数与估计值之间的平均绝对误差损失;损失函数如下:其中,C(Ii)是第Xi张图像产生的估计值,C'(Ii)是实际计数值;通过对上述两个损失函数进行加权,将最终损失函数定义为:Loss=LE+αLc       (6)

其中,α是平衡LE和Lc之间权重的超参数,取值为0.01;

4‑3.对ED‑SSPNet模型进行端到端的训练,迭代次数为1000次,使用标准的随机梯度下降法训练,学习率设置为0.001;得到最终的ED‑SSPNet模型。