1.基于深度学习的船员异常行为检测与身份识别方法,其特征在于,包括如下步骤:
S1、获取并处理视频数据,得到船员异常行为数据集和船员人脸识别数据集,其中异常行为包括不穿工作服、不穿救生衣、上身赤裸、抽烟四类;
S2、基于改进后的CenterNet网络模型CA‑CenterNet,设计船员异常行为检测模型判断是否存在出现异常行为的船员,并获取异常行为类别和船员位置信息图像;
步骤S2具体包括以下子步骤:
S2.1、所述CA‑CenterNet包括改进后的特征提取网络ResNet‑50、上采样网络DeConv和改进后的预测网络Heads,所述特征提取网络ResNet‑50包括四个ResBlock模块ResBlock_1~ResBlock_4和一个TransfomerBlock模块,其中TransfomerBlock模块由三个1×1的卷积模块、一个位置编码模块和一个多头注意力模块组成;预测网络Heads包括中心点预测网络、边界偏置预测网络和尺寸预测网络;所述中心点预测网络由一个3×3×64的卷积模块、一个CBAM模块与一个1×1×80的卷积模块组成,所述边界偏置预测网络由一个3×3×64的卷积模块、一个CBAM模块与一个1×1×2的卷积模块组成,所述尺寸预测网络由一个3×3×
64的卷积模块、一个1×1×2的卷积模块组成;
S2.2、将船员异常行为数据集中的训练集输入到CA‑CenterNet中进行训练,设置迭代次数为150,学习率为1.25e‑4,批训练大小为32,衰减率为0.0006,根据训练中Loss函数的变化趋势适当设置不同的学习率和批训练大小,调整学习率和批训练使总训练损失值、样本高度训练损失值、样本宽度损失值和样本偏移训练损失值最小化,直至达到指定的迭代次数时结束训练,得到船员异常行为检测模型;
S3、设计船员人脸识别模型,用于识别出现异常行为的船员人脸图像并得到船员姓名与编号信息;
步骤S3包括以下子步骤:
S3.1、对出现异常行为的船员使用DeepSort算法进行目标跟踪,将船员异常行为检测模型输出的船员异常行为类别和具体位置信息输入到DeepSort算法,根据船员在当前视频序列中出现的先后顺序,每人分配一个唯一的数字ID;
S3.2、根据船员数字ID判断该船员是否为该视频序列中新出现的船员,如果是新出现的船员则截取该视频序列中船员图像,输入到MTCNN模型检测人脸关键点K(E1,E2,N1,M1,M2)位置与人脸检测框D(F1,F2),其中E1、E2分别为图像中船员左右眼中心位置,N1为船员鼻尖位置,M1、M2分别为船员左右嘴角位置,F1和F2分别为船员人脸左上角、右下角位置;
S3.3、设计人脸姿态估计算法,计算该船员人脸的偏航角度Yaw与俯仰角度Pitch,计算公式如下:
其中,len(E1,E2)为E1、E2两点在图像中的距离,E1(x)和N1(x)分别为E1和N1两点在图像中的X轴坐标;M为M1和M2两点连线中心,d(E1E2,M)为嘴唇中心M到两眼连线E1E2的距离;
S3.4、通过Yaw与Pitch值筛选人脸图像,过滤掉阈值外的人脸图像,其中,Yaw与Pitch阈值设置如下:S3.5、将符合条件的人脸图像输入FaceRecognition模型进行人脸特征提取,将提取的人脸特征与人脸识别数据集中的特征进行对比,得到相似度最高的船员的身份信息;
S4、通过船员异常行为检测模型判断相机监控范围内的船员是否出现异常行为,获取异常行为类型和船员位置信息图像,通过船员人脸识别模型获得船员身份信息,将检测到的船员异常行为类别、船员位置信息图像、船员人脸图像和船员身份信息写入到对应数据库,通知船上管理人员进行处理。
2.根据权利要求1所述的基于深度学习的船员异常行为检测与身份识别方法,其特征在于,步骤S1具体包括以下子步骤:S1.1、收集海上发生舰船安全事故的船舶监控视频为第一数据集,拍摄在职船员模拟表现出异常行为的监控视频为第二数据集;
S1.2、将第一数据集和第二数据集中的视频利用视频帧转换生成单帧图像序列;
S1.3、用人工标注工具对第一数据集和第二数据集的单帧图像进行标注,使用每个目标框的左上角和右下角坐标把出现异常行为的船员图片分割出来,制作船员异常行为数据集,将数据集按8:1:1的比例划分为训练集、验证集和测试集;使用人工截图工具截取第二数据集中出现的船员正脸图像,制作船员人脸识别数据集。
3.根据权利要求2所述的基于深度学习的船员异常行为检测与身份识别方法,其特征在于,通过船员异常行为检测模型检测的过程具体为:每帧图像依次通过ResBlock_1、ResBlock_2和ResBlock_3后输出特征图Ⅰ,将特征图Ⅰ输入TransfomerBlock模块,得到多种模式的注意力热图,将特征图Ⅰ和注意力热图通过Concat操作进行堆叠,随后输入到ResBlock_4模块,得到全局注意力特征图;将全局注意力特征图输入到上采样网络DeConv进行上采样,输出特征图Ⅱ;将特征图Ⅱ分别输入中心点预测网络、边界偏置预测网络和尺寸预测网络,得到图像中船员异常行为类别、船员所在位置与所占区域大小这三类信息。
4.根据权利要求3所述的基于深度学习的船员异常行为检测与身份识别方法,其特征在于,所述特征图Ⅱ在中心点预测网络中首先经过一个3×3×64的卷积模块,再经过一个CBAM模块,最后经过一个1×1×80的卷积模块;特征图Ⅱ在边界偏置预测网络中首先经过一个3×3×64的卷积模块,再经过一个CBAM模块,最后经过一个1×1×2的卷积模块;特征图Ⅱ在尺寸预测网络中首先经过一个3×3×64的卷积模块,最后经过一个1×1×2的卷积模块。
5.根据权利要求1所述的基于深度学习的船员异常行为检测与身份识别方法,其特征在于,步骤S4具体包括:截取视频中首帧出现该船员异常行为和识别出该船员身份的图像,分别将两种船员图像从原图分割生成图像I1、I2;记录该船员异常行为种类C、当前时间T和船员身份信息N,将I1、I2、C、T、N写入数据库保存,通过声光报警方式通知船上管理人员进行事故处理。