1.一种权重优化下的局部多尺度特征融合的驾驶员行为识别方法,其特征在于,包括以下步骤:(1)预先获取驾驶室的监控视频,选取其中的分心驾驶行为并分割成相应图片,作为数据集;
(2)采用YOLOv5对驾驶员进行检测,得到驾驶人体检测框相对位置信息;
(3)将原图片送入ResNet50网络中进行特征提取;
(4)分别在ResNet50网络的28*28、14*14和7*7尺度的特征图上,利用步骤(2)所得到人体检测框相对位置,进行ROI+Pooing得到驾驶人的底层细节特征和高层抽象特征,并对三个尺度的特征进行重复多尺度融合,得到更加全面丰富的驾驶人特征;
(5)提出一种权重分配方法用于对驾驶人特征和全局特征进权衡,将分配后的驾驶人的特征和全局特征相结合,并对驾驶员行为进行识别。
2.根据权利要求1所述的权重优化下的局部多尺度特征融合的驾驶员行为识别方法,其特征在于,所述步骤(2)实现过程如下:其中,YOLOv5网络为Y(x),其中将图片x作为输入,输出一个包含网格的特征图,其中(tx,ty)为偏移量,(cx,cy)为相当于左上角的坐标位置,(tw,th)为尺度缩放比例,(pw,ph)为先验框的长宽;bx,by为检测框的中心坐标,bw,bh为检测框的长宽,将检测出的人体框命名为xh。
3.根据权利要求1所述的权重优化下的局部多尺度特征融合的驾驶员行为识别方法,其特征在于,所述步骤(3)实现过程如下:将整张图片作为全局特征提取的输入,使用ResNet‑50在ImageNet进行过预训练模型,并对模型进行微调,将模型的最后的全连接层进行相应修改以适应具体驾驶员行为识别任务;整张图片经过主干网络后得到特征图F,对特征图F添加残差块结构得到全局特征fC:fC=(ResC (F)) (1) 。
4.根据权利要求1所述的权重优化下的局部多尺度特征融合的驾驶员行为识别方法,其特征在于,所述步骤(4)实现过程如下:利用步骤(2)目标检测得到人体框xh,用感兴趣区域和池化对人体区域进行特征提取的到局部人体特征,在局部人体特征后面跟上残差结构和全局最大池化来获取单个尺度的人体特征fh:fh=GAP(Resh(RoI(F,xh))) (3)in in in
设主干网络要输入到多尺度特征融合结构的三个尺度的输入特征P =(P l1,P l2,in out in inP l4),输出特征为P =h(P ),h()为多尺度融合运算,其中P l1代表分辨率为输入图像的in in
1/2,P l2代表分辨率为输入图像的1/4,P l4代表原图的1/16;多尺度重复融合采样操作可表示如下:其中, 代表concat运算;最后通过一种阶梯型的特征融合方式将融合后的不同尺度h的向量进行相加,得到最终多特征融合后的ffusion:
5.根据权利要求1所述的权重优化下的局部多尺度特征融合的驾驶员行为识别方法,其特征在于,所述步骤(5)实现过程如下:h
引入权重ρ对全局特征fC特征和ffusion进行合理分配:其中, 代表对特征进行最大池化操作, 代表进行平均池化操作。