1.一种基于改进的卷积神经网络的驾驶员状态识别方法,其特征在于,包括如下步骤:步骤1:输入驾驶员驾驶视频V1,利用SRGAN进行初步分辨率提升,输出高分辨率驾驶员驾驶视频V2;
步骤2:利用改进的卷积神经网络,构造人体关键点识别模型M1;
步骤3:利用yolo算法对视频V2中的人物进行检测,框选出单个人体存在的像素,输出单人体视频集V3;
步骤4:将视频集V3进行二值化处理,利用信息熵公式对单人体视频集进行裁剪,捕捉发生动作帧数超过总帧数50%的单人体视频,还原视频为原编码格式,输出为单人体关键帧集V4;
步骤5:利用模型M1对关键帧集V4中的人体进行检测,输出人体关键点坐标集K1;
步骤6:对驾驶员状态中各种姿势关键点进行标记,利用多元线性回归算法计算每种姿势对应关键点分布模型M2;
步骤7:对坐标集K1进行二次检测,使用正常坐标点计算人体关键点之间距离信息,和模型M2进行对照从而输出驾驶员状态。
2.根据权利要求1所述的基于改进的卷积神经网络的驾驶员状态识别方法,其特征在于,所述步骤1中利用SRGAN进行初步分辨率提升具体为:S1.1:输入一组数据,分别为高分辨率下人体图像IA,通过下采样操作获得低分辨率人体图像IB;
S1.2:构造生成网络,将低分辨率人体图像IB作为输入,对其进行卷积运算、激活函数ReLU、两个卷积层的残差运算,经过归一化、池化和两个亚像素卷积层,输出生成样本图像IC;
S1.3:构造判别网络,输入生成样本图像IC,通过卷积运算和激活函数,再经过Sigmoid函数来判断是否为原始图像;
S1.4:对生成图像IC,计算内容损失函数,计算MSEloss像素空间的均方误差;
S1.5:对生成图像IC,计算其峰值信噪比值PSNR,若和原图像计算得到的PSNR值小于
30dB,则返回S1.2重新进行生成;若生成图像和原图像PSNR值均值大于30dB,则输出训练好生成器P;
S1.6:输入低分辨率原视频V1,将其分片为帧,输入生成器P,输出高分辨率帧FA,重组为视频,得到高分辨率驾驶员驾驶检测视频V2。
3.根据权利要求1所述的基于改进的卷积神经网络的驾驶员状态识别方法,其特征在于,所述步骤2中利用改进的卷积神经网络构造人体关键点识别模型M1具体为:S2.1:对人体关节点处数据进行标记,同时在训练集图片上标注关节点周围像素,标注要避免关节点标签之间互相重复,输出标注好的人体关键点数据集SPC;
S2.2:输入关键点数据集SPC,使用卷积神经网络的卷积层、池化层、ReLU激活函数提取SPC的特征矩阵,初始化卷积核大小为11x11,步长为4,池化层为核为3x3的池化层,重复五次卷积层和池化层操作;其中第二次卷积操作中卷积核大小改为5x5,其余卷积操作中卷积核大小改为3x3,输出特征据矩阵PM1;
S2.3:对特征矩阵进行平均池化操作,核大小为3x3,步长为2,输出特征矩阵PM2;
S2.4:将特征矩阵PM2输入到全连接层,进行特征映射,重复两次操作,全连接层神经元数量为4096个,采用ReLU激活函数,使用Dropout操作后连接至神经元数量为20的全连接层,输出分类器MA;
S2.5:计算分类器MA在数据集SPC上的损失,更新神经网络连接函数的权值,若损失函数计算差值较上次计算大于0.05,转入S2.2;反之,减少第一层卷积层卷积核的大小,每次减少的步长为1,下限为3x3,增大其余层卷积核的步长,上限为6,重新更新网络的权重;选择分类效果最优的模型作为检测模型,输出人体关键点识别模型M1;
S2.6:输入一组未标注人体关键点的图像数据SPD,利用人体关键点识别模型M1对SPD进行人体关键点识别,输出标注好的人体关键点数据集SPE;将数据集SPE转入S2.2,训练后输出更新参数的人体关键点识别模型M1,查看模型M1在数据集SPC上识别准确率是否有提升,若有,则输出更新了参数模型M1,反之,则输出未更新参数的模型M1。
4.根据权利要求1所述的基于改进的卷积神经网络的驾驶员状态识别方法,其特征在于,所述步骤3具体包括如下内容:
S3.1:将视频V1切分为视频帧,输出为视频帧集合FA;将视频帧划分为SxS个网格,如果目标的中心落入某一单元格,则该网格负责检测该目标,并对这个网格卷积计算来提取特征,同时输出每个网格的目标存在置信度C1;
S3.2:对目标存在置信度大于80%的相邻网格,扩展网格边界进行预测,如果在网格内部检测到了目标,则输出目标单元格坐标(x1,y1);如果在扩展网格单元后检测不到目标,则对该区域进行无目标判定;若扩展后单元格置信度和原单元格置信度差别过大,则返回S3.1;
S3.3:对检测到目标区域进行裁剪,减少图片像素值,对像素值小于25x25的图片,返回步骤1,输出像素值正常图片帧集合FB,合并为视频集合V3输出。
5.根据权利要求1所述的基于改进的卷积神经网络的驾驶员状态识别方法,其特征在于,所述步骤6具体内容为:
S6.1:输入一组标记好的人体姿势关键点图片集合K2,输入未标记好的图片集合K3,其中每张图片标记的关键点有20个,对应驾驶员状态有正常驾驶、抽烟、看手机、单手驾驶、不目视前方等5类;
S6.2:利用集合K2中每张图片的关键点坐标所有关键点之间的距离D1,每张图片存在
190个距离,组成距离矩阵PM3,采用主成分分析使距离矩阵PM3从N1x190降维至N1x20,N1为集合K2种图片的数量,降维参数记录为参数矩阵PM4,输出驾驶员状态标签和关键点距离矩阵PM5;
S6.3:使用最小二乘法对矩阵PM5进行多元线性回归,初始化每种驾驶员驾驶状态对应线性分布超平面H1,计算矩阵PM5种每组距离和超平面H1的距离,每次计算完更新每个驾驶员状态对应超平面参数,若6个超平面法向量的两两余弦距离之差存在小于0.2的情况,则返回S6.1,反之,输出线性回归模型M2。
6.根据权利要求1至5任一所述的基于改进的卷积神经网络的驾驶员状态识别方法,其特征在于,所述步骤7中对坐标集K1进行二次检测,检查是否有异常坐标点存在的具体内容为:输入坐标集合K1,计算每张图片中关键点和中心点距离标准差STD,计算每张图片中关键点和中心点的距离D2,若距离D2绝对值大于两倍STD的图片,判定为异常图片,返回步骤
5,对距离D2小于两倍STD的图片,判定为正常图片,输出为检测正常图片集合K3。
7.根据权利要求6所述的基于改进的卷积神经网络的驾驶员状态识别方法,其特征在于,所述步骤7中使用正常坐标点计算人体关键点之间距离信息,和模型M2进行对照从而输出驾驶员状态具体为:
S7.1:对K3中图片的关键点,计算其间距离,输出坐标点间距离矩阵PM6,利用参数矩阵PM4对矩阵PM6进行降维,降维后的矩阵大小为N2x20,其中N2为K3中图片的数量,输出降维后的坐标间距离矩阵PM7;
S7.2:计算矩阵PM6和模型M2中每个超平面的余弦距离,将余弦距离的倒数进行批归一化操作,选择最大值对应驾驶员状态标签的置信度作为驾驶员状态置信度S1,输出置信度S1及S1对应驾驶员状态标签。
8.根据权利要求7所述的基于改进的卷积神经网络的驾驶员状态识别方法,其特征在于,所述驾驶员状态标签正常驾驶、抽烟、看手机、单手驾驶、不目视前方对应置信度设置为
1、0.2、0.2、0.2、0.2。