欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021107491803
申请人: 淮阴工学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-06-18
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于改进的卷积神经网络的驾驶员状态识别方法,其特征在于,包括如下步骤:步骤1:输入驾驶员驾驶视频V1,利用SRGAN进行初步分辨率提升,输出高分辨率驾驶员驾驶视频V2;

步骤2:利用改进的卷积神经网络,构造人体关键点识别模型M1;

步骤3:利用yolo算法对视频V2中的人物进行检测,框选出单个人体存在的像素,输出单人体视频集V3;

步骤4:将视频集V3进行二值化处理,利用信息熵公式对单人体视频集进行裁剪,捕捉发生动作帧数超过总帧数50%的单人体视频,还原视频为原编码格式,输出为单人体关键帧集V4;

步骤5:利用模型M1对关键帧集V4中的人体进行检测,输出人体关键点坐标集K1;

步骤6:对驾驶员状态中各种姿势关键点进行标记,利用多元线性回归算法计算每种姿势对应关键点分布模型M2;

步骤7:对坐标集K1进行二次检测,使用正常坐标点计算人体关键点之间距离信息,和模型M2进行对照从而输出驾驶员状态。

2.根据权利要求1所述的基于改进的卷积神经网络的驾驶员状态识别方法,其特征在于,所述步骤1中利用SRGAN进行初步分辨率提升具体为:S1.1:输入一组数据,分别为高分辨率下人体图像IA,通过下采样操作获得低分辨率人体图像IB;

S1.2:构造生成网络,将低分辨率人体图像IB作为输入,对其进行卷积运算、激活函数ReLU、两个卷积层的残差运算,经过归一化、池化和两个亚像素卷积层,输出生成样本图像IC;

S1.3:构造判别网络,输入生成样本图像IC,通过卷积运算和激活函数,再经过Sigmoid函数来判断是否为原始图像;

S1.4:对生成图像IC,计算内容损失函数,计算MSEloss像素空间的均方误差;

S1.5:对生成图像IC,计算其峰值信噪比值PSNR,若和原图像计算得到的PSNR值小于

30dB,则返回S1.2重新进行生成;若生成图像和原图像PSNR值均值大于30dB,则输出训练好生成器P;

S1.6:输入低分辨率原视频V1,将其分片为帧,输入生成器P,输出高分辨率帧FA,重组为视频,得到高分辨率驾驶员驾驶检测视频V2。

3.根据权利要求1所述的基于改进的卷积神经网络的驾驶员状态识别方法,其特征在于,所述步骤2中利用改进的卷积神经网络构造人体关键点识别模型M1具体为:S2.1:对人体关节点处数据进行标记,同时在训练集图片上标注关节点周围像素,标注要避免关节点标签之间互相重复,输出标注好的人体关键点数据集SPC;

S2.2:输入关键点数据集SPC,使用卷积神经网络的卷积层、池化层、ReLU激活函数提取SPC的特征矩阵,初始化卷积核大小为11x11,步长为4,池化层为核为3x3的池化层,重复五次卷积层和池化层操作;其中第二次卷积操作中卷积核大小改为5x5,其余卷积操作中卷积核大小改为3x3,输出特征据矩阵PM1;

S2.3:对特征矩阵进行平均池化操作,核大小为3x3,步长为2,输出特征矩阵PM2;

S2.4:将特征矩阵PM2输入到全连接层,进行特征映射,重复两次操作,全连接层神经元数量为4096个,采用ReLU激活函数,使用Dropout操作后连接至神经元数量为20的全连接层,输出分类器MA;

S2.5:计算分类器MA在数据集SPC上的损失,更新神经网络连接函数的权值,若损失函数计算差值较上次计算大于0.05,转入S2.2;反之,减少第一层卷积层卷积核的大小,每次减少的步长为1,下限为3x3,增大其余层卷积核的步长,上限为6,重新更新网络的权重;选择分类效果最优的模型作为检测模型,输出人体关键点识别模型M1;

S2.6:输入一组未标注人体关键点的图像数据SPD,利用人体关键点识别模型M1对SPD进行人体关键点识别,输出标注好的人体关键点数据集SPE;将数据集SPE转入S2.2,训练后输出更新参数的人体关键点识别模型M1,查看模型M1在数据集SPC上识别准确率是否有提升,若有,则输出更新了参数模型M1,反之,则输出未更新参数的模型M1。

4.根据权利要求1所述的基于改进的卷积神经网络的驾驶员状态识别方法,其特征在于,所述步骤3具体包括如下内容:

S3.1:将视频V1切分为视频帧,输出为视频帧集合FA;将视频帧划分为SxS个网格,如果目标的中心落入某一单元格,则该网格负责检测该目标,并对这个网格卷积计算来提取特征,同时输出每个网格的目标存在置信度C1;

S3.2:对目标存在置信度大于80%的相邻网格,扩展网格边界进行预测,如果在网格内部检测到了目标,则输出目标单元格坐标(x1,y1);如果在扩展网格单元后检测不到目标,则对该区域进行无目标判定;若扩展后单元格置信度和原单元格置信度差别过大,则返回S3.1;

S3.3:对检测到目标区域进行裁剪,减少图片像素值,对像素值小于25x25的图片,返回步骤1,输出像素值正常图片帧集合FB,合并为视频集合V3输出。

5.根据权利要求1所述的基于改进的卷积神经网络的驾驶员状态识别方法,其特征在于,所述步骤6具体内容为:

S6.1:输入一组标记好的人体姿势关键点图片集合K2,输入未标记好的图片集合K3,其中每张图片标记的关键点有20个,对应驾驶员状态有正常驾驶、抽烟、看手机、单手驾驶、不目视前方等5类;

S6.2:利用集合K2中每张图片的关键点坐标所有关键点之间的距离D1,每张图片存在

190个距离,组成距离矩阵PM3,采用主成分分析使距离矩阵PM3从N1x190降维至N1x20,N1为集合K2种图片的数量,降维参数记录为参数矩阵PM4,输出驾驶员状态标签和关键点距离矩阵PM5;

S6.3:使用最小二乘法对矩阵PM5进行多元线性回归,初始化每种驾驶员驾驶状态对应线性分布超平面H1,计算矩阵PM5种每组距离和超平面H1的距离,每次计算完更新每个驾驶员状态对应超平面参数,若6个超平面法向量的两两余弦距离之差存在小于0.2的情况,则返回S6.1,反之,输出线性回归模型M2。

6.根据权利要求1至5任一所述的基于改进的卷积神经网络的驾驶员状态识别方法,其特征在于,所述步骤7中对坐标集K1进行二次检测,检查是否有异常坐标点存在的具体内容为:输入坐标集合K1,计算每张图片中关键点和中心点距离标准差STD,计算每张图片中关键点和中心点的距离D2,若距离D2绝对值大于两倍STD的图片,判定为异常图片,返回步骤

5,对距离D2小于两倍STD的图片,判定为正常图片,输出为检测正常图片集合K3。

7.根据权利要求6所述的基于改进的卷积神经网络的驾驶员状态识别方法,其特征在于,所述步骤7中使用正常坐标点计算人体关键点之间距离信息,和模型M2进行对照从而输出驾驶员状态具体为:

S7.1:对K3中图片的关键点,计算其间距离,输出坐标点间距离矩阵PM6,利用参数矩阵PM4对矩阵PM6进行降维,降维后的矩阵大小为N2x20,其中N2为K3中图片的数量,输出降维后的坐标间距离矩阵PM7;

S7.2:计算矩阵PM6和模型M2中每个超平面的余弦距离,将余弦距离的倒数进行批归一化操作,选择最大值对应驾驶员状态标签的置信度作为驾驶员状态置信度S1,输出置信度S1及S1对应驾驶员状态标签。

8.根据权利要求7所述的基于改进的卷积神经网络的驾驶员状态识别方法,其特征在于,所述驾驶员状态标签正常驾驶、抽烟、看手机、单手驾驶、不目视前方对应置信度设置为

1、0.2、0.2、0.2、0.2。