1.一种基于语义细化的空间金字塔人群计数方法,其特征在于,包括以下步骤:步骤1:获取人群图像数据集,并分为训练集和测试集,将训练集进行裁剪得到输入图像,输入图像进入基于VGG-16的骨干网络提取基础特征;
步骤2:设计空间金字塔多尺度模块SPMM,SPMM拥有多个具有不同的感受野的平行分支,这些拥有不同感受野的平行分支组成了空间金字塔结构,在步骤1的基础特征上捕获人群图像中的多尺度特征;
步骤3:设计语义增强模块SEM,SEM将骨干网络提取出来的基础特征与SPMM提取出来的多尺度特征进行像素级别的相减操作,之后再经过降维和激活函数后,得到丢失细节信息的权重图,再把权重图与对应的多尺度特征进行相乘,得到增强特征;
步骤4:利用步骤1骨干网络在浅层提取的纹理特征对步骤3得到的增强特征的细节信息进行补偿,用于丰富特征图的细节信息;
步骤5:将步骤4得到的特征图输入由一系列空洞卷积组成的解码结构,从而生成最终的密度图,将密度图进行积分操作,就能得到网络预测的个体数;
所述步骤1:获取人群图像数据集,并分为训练集和测试集,将训练集进行裁剪得到输入图像,输入图像输入卷积神经层提取特征,具体包含以下步骤:A1:从数据集中的训练集中将人群图像,裁剪为576×768尺寸大小的输入图像I;
A2:将图像I输入到由VGG-16的前13层构成的骨干网络中提取特征,从第7层提取的特征FF
其中f
所述步骤2设计SPMM,SPMM拥有多个具有不同的感受野的平行分支,这些拥有不同感受野的平行分支组成了空间金字塔结构,在步骤A2的基础特征上捕获人群图像中的多尺度特征,具体包含以下步骤:B1:根据步骤A2,将基础特征F
B2:拥有四个分支的SPMM能够利用不同分支拥有的不同尺寸的感受野来捕获多尺度特征,以F
2.根据权利要求1所述的一种基于语义细化的空间金字塔人群计数方法,其特征在于,所述步骤3设计SEM,SEM将骨干网络提取出来的基础特征与SPMM提取出来的多尺度特征进行像素级别的相减操作,之后再经过降维和激活函数后,得到丢失细节信息的权重图,再把权重图与对应的多尺度特征进行相乘,得到增强特征,具体包含以下步骤:C1:将在A2步骤中提取到基础特征F
C2:接着,让C1步骤中得到的降维之后的基础特征F
C3:然后,利用1×1的卷积层对C2步骤中提取到的对比特征进行降维;
C4:接着,把C3步骤中提取到的降维之后的对比特征输入到Sigmoid激活函数,得到一个丢失细节信息的权重图M其中
C5:最后,将C4得到的权重图M
其中,*表示逐像素相乘,[.|.]表示的是像素方向的融合操作。
3.根据权利要求2所述的一种基于语义细化的空间金字塔人群计数方法,其特征在于,所述步骤4:利用骨干网络在浅层提取的纹理特征对增强特征FD1:将C5步骤提取到的增强特征F
D2:将D1中上采样之后的增强特征F
4.根据权利要求3所述的一种基于语义细化的空间金字塔人群计数方法,其特征在于,所述步骤5将D2得到的特征图输入由一系列空洞卷积组成的解码结构,从而生成最终的密度图,将密度图进行积分操作,就能得到网络预测的个体数,具体包括:E1:将D2步骤中融合浅层和深层的特征输入一系列由空洞卷积组成的解码器,能够得到最终的密度图;
E2:具体来说,解码器由六层空洞卷积和一层1×1卷积组成,其中空洞卷积结构都是卷积核3×3且空洞率为2,不同的是通道数不断变小,依次是512、512、512、256、128、64,最后的通道数为64的特征图经过1×1的卷积层降维到1,就得到了最终的密度图;
E3:为了得到网络对密集人群图像预测的人数,只需要把密度图进行积分操作即可。