欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2023105255078
申请人: 南昌工程学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-12-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种河湖采砂船船脸识别方法,其特征在于,包括以下步骤:

S1、收集部署在河湖岸边摄像头拍摄的过往的采砂船只图片,采砂船只图片包括在晴天、阴雨天气环境下拍摄的图片,在傍晚、夜间拍摄的图片,在船脸不同位置下拍摄的图片,对收集的所述采砂船只图片进行筛选,得到采砂船只图片数据集,通过OPENCV对采砂船只图片数据集添加椒盐噪声、色彩抖动和色域扭曲以训练采砂船只图片数据集;

S2、对采集的不同采砂船只的图片进行标注形成训练RetinaFace模型数据集一;

S3、对数据集一中的采砂船船脸图像进行截取,并将属于同一艘采砂船个体的图片放到一个文件夹下,形成训练FaceNet模型的数据集二;

S4、针对具体的采砂船个体船脸识别任务,分别改进RetinaFace模型和改进FaceNet模型,实现更高的精度;

所述改进RetinaFace模型特征在于将RetinaFace主干网络中的基本卷积层中的

LeakyReLU激活函数替换为GELU激活函数,组成CBG卷积模块,形成新的主干特征提取网络,原RetinaFace的主干网络有三个输出有效特征层,分别在这三个输出有效特征层C3,C4和C5后加入ECA注意力结构,用来网络增强对于感兴趣区域的自适应关注能力,主干网络的输出有效特征层C5形状为(20,20),C4形状为(40,40),C3形状为(80,80),同时将利用DAMO‑YOLO网络模型的Efficient‑RepGFPN网络来作为特征融合网络,将原始利用卷积层线性堆叠实现的特征融合改进为CSPNet连接,能够充分交换高级语义信息和低级空间信息在不增加更多计算量的同时,提升模型的精度,最后将所述有效特征层的输出连接至特征融合网络;

所述改进FaceNet模型特征在于利用启发式和免训练的搜索方法MAE‑NAS快速大范围搜索各种不同规模的主干网络结构,根据延迟预算来低成本的定制化模型,形成改进FaceNet的主干网络,基于one‑shot方法,首先针对目标设备采样,得到所有用到的算子的时延数据,根据算子的时延数据对模型进行延迟预测,如果预测的模型量级符合预设的目标,模型会进入到后续模型更新和计算分数,最后经过迭代更新,得到符合时延约束的最优模型,最终确定DeepMAD‑89M作为主干网络,参数量为89MB,浮点运算次数为15.4G,最后在主干网络后的全局平均池化层后引入GAM注意力机制,增强网络对于感兴趣区域的自适应关注;

S5、利用所述数据集一训练改进RetinaFace目标检测模型,利用所述数据集二训练改进FaceNet采砂船个体船脸识别模型,分别获取最优模型;

S6、利用训练好的RetinaFace+FaceNet模型进行对输出特征向量进行编码,获得包含船脸信息和采砂船只名称的.NPY文件作为数据库;

S7、利用训练得到的改进RetinaFace+FaceNet模型共同进行河湖采砂船个体船脸的识别。

2.根据权利要求1所述的一种河湖采砂船船脸识别方法,其特征在于,对收集河湖采砂区域不同采砂船只的图片进行数据增广预处理,然后运用Labelme数据集标注工具进行标注,形成用于训练RetinaFace的目标检测数据集一,对图片中的采砂船个体船脸进行截取,形成训练FaceNet的采砂船个体船脸数据集二。

3.根据权利要求2所述的一种河湖采砂船船脸识别方法,其特征在于,对S1中训练后的采砂船只图片数据集中的图片进行编号,利用标签标记工具Labelme标注收集河湖采砂区域不同采砂船只的图片目标检测和关键点信息,形成COCO格式的JSON标注文件的数据集一。

4.根据权利要求3所述的一种河湖采砂船船脸识别方法,其特征在于,对数据集一中生成的JSON标注文件批量转换成文本文件,再将所有的文本文件合并为一个文本文件,所合成的文本文件包含图像的路径和名称、框的左上角和右下角的坐标信息以及关键点的坐标信息,将此文本文件结合原图像作为数据集一。

5.根据权利要求1所述的一种河湖采砂船船脸识别方法,其特征在于,将拍摄的采砂船传入RetinaFace目标检测和关键点定位算法进行分类和定位的识别,判读图片中是否有采砂船只,如果有采砂船只就用预测框标出目标,并用关键点标记出采砂船只船脸信息,然后进行图片的矫正,将图片矫正成水平和竖直方向,再根据框选出来的采砂船只目标进行截取,将截取出的采砂船个体船脸图片送入改进的FaceNet网络;

然后,将截取到的采砂船个体船脸图像传入改进的FaceNet网络进行采砂船个体船脸的识别,并在识别后输出结果与数据库中输出的编码特征向量进行对比,将待识别图片经过网络输出的特征向量和数据库中的特征向量逐个计算欧几里得距离,如果与数据库中的某个特征向量欧几里得距离小于训练网络时学习训练集的特征确定的阈值,则判断为采砂船个体船脸信息是已存入数据库备案的船只船脸,此时发出预警,并进行人工参与,针对两艘特征完全相同的船只进行人工盘查,确认无误后,将采砂船只名称编号标注在图像中展示;

如果与数据库中的所有特征向量欧几里得距离均不小于预先设定的阈值,则传入的采砂船个体船脸信息不属于数据库中备案采砂船只,即判定为违规作业船舶,同时标记输出非合法采砂船,同时发出预警提示管理人员。