欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2022114866254
申请人: 常熟理工学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度学习的电梯人流视觉统计方法,其特征在于,包括以下步骤:S01:使用注意力机制对YOLOv5神经网络模型进行改进,将带有残差结构的网络模块CST替换YOLOv5 backbone中的CSP模块,使用CSA模块替代YOLOv5神经网络模型中特征融合部分的CSP模块,得到改进的YOLO‑EL神经网络模型;所述CST模块包括第一卷积层、第二卷积层、第三卷积层和Transformer层,第一卷积层和第二卷积层用于接收上层网络的输出,第一卷积层的输出用作Transformer层的输入,第二卷积层作为残差结构,其输出端与Transformer层的输出进行拼接,得到的结构输入第三个卷积层中进行处理;所述Transformer层中数据首先进入扁平化层,经过处理后由多维转换为1维,然后经归一化层进行归一化处理,随后经过多头注意力层的处理后再次进行归一化运算,最后通过多层感知机进行处理;所述CSA模块包括第四卷积层、第五卷积层、第六卷积层、第七卷积层、注意力层和BottleNeck层,其中BottleNeck层为1×1的卷积运算,用于减少网络参数数量;所述第四卷积层、第五卷积层用于接收上层网络的输出,所述第四卷积层的输出用作注意力层的输入,注意力层的输出经过第六卷积层的处理后,其结果输入BottleNeck层,经BottleNeck层处理后与该第六卷积层的输出进行拼接,拼接结果与第五卷积层的结果继续拼接,所述第五卷积层构成残差结构,得到的结果通过第七卷积层进行处理得到最后的结果;

S02:通过改进的YOLO‑EL神经网络模型对图像进行检测,将当前图像标记为首帧;

S03:如果检测到目标,将检测到的目标信息传递给目标跟踪器,对图像动态跟踪,并选择FN帧中的一帧进行识别统计,忽略其他帧;如果跟踪失败或完成N帧图像的跟踪,重新对图像进行检测。

2.根据权利要求1所述的基于深度学习的电梯人流视觉统计方法,其特征在于,所述步骤S03中跟踪器的建立包括:构建KCF跟踪器,通过使用轮转矩阵生成样本,训练一个判别式分类器,引入循环矩阵,采用快速傅里叶变换对KCF算法进行加速计算;

训练KCF跟踪器,找到一个非线性映射函数 使映射后的结果在线性空间下是可分的,即找到一个回归函数 ,给定样本 和对应的标签 ,为目标模板,目标是优化最大平方和误差;使用高斯核函数对跟踪器进行训练。

3.根据权利要求2所述的基于深度学习的电梯人流视觉统计方法,其特征在于,所述训练KCF跟踪器的方法包括以下步骤:由训练样本的非线性变换 的线性组合构成:

(16)

其中, 为权重参数, 为样本,此时 实际为所有样本的加权平均,新样本的预测值为:(17)

记 称为核函数,得:

(18)

其中, 、 、 为样本数量, 为权重参数构成的向量,中的第t个元素为训练样本 和测试样本 的核函数值;

使用线性函数的优化方法求解 :

(19)

其中, 是所有训练样本的核相关矩阵, , 为单位矩阵, 为正则项系数, 为 对应的目标值, 为 的集合;

使用高斯核函数对跟踪器进行训练:

记循环矩阵 的初始向量为 ,经傅里叶变换后值为 ,根据式(19)可得:(20)

经傅里叶变换得:

(21)

化简后得:

(22)

对 同样利用循环矩阵加速,对于高斯核函数,核相关矩阵的初始向量为:(23)

其中, 为径向基函数, 、 为样本向量,上式向量化后得:(24)

其中, 为高斯核函数, 为样本向量 的傅里叶变换, 为样本向量 的傅里叶变换的复共轭;将式(23)代入(24)后得:(25)

则高斯核函数对应的初始向量为:

(26)

其中, 是初始样本 经傅里叶变换后得到的值, 是常离散傅里叶矩阵, 为经傅里叶变换后的复共轭;

KCF算法的检测结果 是一个标量,表示某一个样本的回归值:(27)

对待检测的图像 进行循环化:

(28)

其中, 表示训练样本与候选样本之间的核相关矩阵, 为其初始向量,则:

(29)

傅里叶变换后:

(30)

化简后得:

(31)

此时检测结果 是一个向量,维度和训练时的 一样,其中最大元素对应的偏移量即为检测到的目标的位置。

4.根据权利要求1所述的基于深度学习的电梯人流视觉统计方法,其特征在于,所述步骤S03之后还包括:当跟踪器跟踪失败,判断目标出现重叠,检测近景目标的深度信息,判断被遮挡目标是否还在电梯内;

如果近景目标的深度大于电梯自身的深度,不进行统计,如果近景目标的深度小于电梯自身的深度,对其进行统计。

5.根据权利要求4所述的基于深度学习的电梯人流视觉统计方法,其特征在于,所述检测近景目标的深度信息的方法包括:计算相机镜头光心到目标的距离 :

其中, 为相机焦距; 是乘员头部物理尺度, 是电梯轿厢的内部固定物理尺度, 为融合后的实际目标物理尺度, 为异域像素特征, 与 表示不同类型特征的数量, 和 通过成像数据得出;

以相机镜头的光心为坐标系原点建立右手三维坐标系,竖直向下为x轴,垂直于电梯后立面向外为z轴,相机光轴与三个坐标轴x、y、z的夹角分别为 , , ,则目标的深度D:。

6.一种基于深度学习的电梯人流视觉统计系统,其特征在于,包括:YOLO‑EL神经网络模型构建模块,使用注意力机制对YOLOv5神经网络模型进行改进,将带有残差结构的网络模块CST替换YOLOv5 backbone中的CSP模块,使用CSA模块替代YOLOv5神经网络模型中特征融合部分的CSP模块,得到改进的YOLO‑EL神经网络模型;所述CST模块包括第一卷积层、第二卷积层、第三卷积层和Transformer层,第一卷积层和第二卷积层用于接收上层网络的输出,第一卷积层的输出用作Transformer层的输入,第二卷积层作为残差结构,其输出端与Transformer层的输出进行拼接,得到的结构输入第三个卷积层中进行处理;所述Transformer层中数据首先进入扁平化层,经过处理后由多维转换为1维,然后经归一化层进行归一化处理,随后经过多头注意力层的处理后再次进行归一化运算,最后通过多层感知机进行处理;所述CSA模块包括第四卷积层、第五卷积层、第六卷积层、第七卷积层、注意力层和BottleNeck层,其中BottleNeck层为1×1的卷积运算,用于减少网络参数数量;所述第四卷积层、第五卷积层用于接收上层网络的输出,所述第四卷积层的输出用作注意力层的输入,注意力层的输出经过第六卷积层的处理后,其结果输入BottleNeck层,经BottleNeck层处理后与该第六卷积层的输出进行拼接,拼接结果与第五卷积层的结果继续拼接,所述第五卷积层构成残差结构,得到的结果通过第七卷积层进行处理得到最后的结果;

目标检测模块,通过改进的YOLO‑EL神经网络模型对图像进行检测,将当前图像标记为首帧;

跟踪统计模块,如果检测到目标,将检测到的目标信息传递给目标跟踪器,对图像动态跟踪,并选择FN帧中的一帧进行识别统计,忽略其他帧;如果跟踪失败或完成N帧图像的跟踪,重新对图像进行检测。

7.根据权利要求6所述的基于深度学习的电梯人流视觉统计系统,其特征在于,还包括遮挡目标检测模块:当跟踪器跟踪失败,判断目标出现重叠,检测近景目标的深度信息,判断被遮挡目标是否还在电梯内;

如果近景目标的深度大于电梯自身的深度,不进行统计,如果近景目标的深度小于电梯自身的深度,对其进行统计。

8.一种计算机存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被执行时实现权利要求1‑5任一项所述的基于深度学习的电梯人流视觉统计方法。