欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2022107272209
申请人: 王世莉
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-11-08
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于目标跟踪算法的智慧工厂监控系统,其特征在于,包括终端服务器、视频图像采集模块和视频图像处理模块;所述的视频图像采集模块包含多个监控摄像头,用于实时采集工厂不同区域的环境视频图像数据,然后将采集到的工厂环境视频图像数据输出至图像处理模块;所述视频图像处理模块用于实时读取视频图像数据并进行处理,首先实时检测工厂环境中是否出现可疑目标,当出现可疑目标时生成报警信号输出值终端服务器,终端服务器接收到报警信号后进行报警;同时,根据检测到的目标位置信息利用设计的查询引导的目标跟踪方法跟踪可疑目标,当跟踪的可疑目标从当前摄像头的拍摄范围内消失时,利用设计的查询引导的目标跟踪方法在下一个摄像头的拍摄范围内找到同一个可疑目标进行持续性跟踪,在检测出工厂环境处出现可疑目标的同时给出可疑目标的位置信息,所述设计的查询引导的目标跟踪方法包括两个部分,第一部分是利用设计的重要性感知损失函数离线训练跟踪网络,第二部分是利用离线训练的网络进行在线跟踪;

所述的第二部分利用离线训练的网络进行在线跟踪,其特征在于,在线跟踪步骤如下:

S71:利用获取的可疑目标的位置信息,截取出可疑目标图像作为目标模板Z1,设置给出可疑目标位置的那一帧图像为第一帧;

S72:在后续帧中截取出搜索区域图像Xt,t为视频图像的帧索引,将目标模板图像和搜索区域图像分别输入离线训练到的网络分别提取特征图,然后将两个特征图分别输入到离线训练得到的网络的分类分支与回归分支中;

S73:在分类分支输出得分图后,将设计的一个目标查询的惩罚与分类分支的输出得分图相结合得到最终的分类得分图;

S74:通过分类得分图与回归分支的输出相结合,筛选找到目标位置;

所述的目标查询的惩罚,其特征在于,目标查询的惩罚是两种惩罚的结合,一种是考虑到目标运动信息的目标速度指导的位置惩罚,一种是考虑到目标自身颜色信息的目标颜色指导的位置惩罚,目标速度指导的位置惩罚定义为:其中coswindow是余弦窗,使用余弦窗是基于目标距离上一帧目标位置更近的可能性更大的假设,余弦窗能将远离上一帧目标中心区域的区域赋予较低的权值,d是前两帧目标中心位置的距离:其中,xt‑1与yt‑1是上一帧预测的目标中心点坐标,xt‑2与yt‑2是隔上一帧的预测的目标中心点坐标,d越大说明两帧之间目标的距离越远,则证明目标移动越快,目标距离上一帧d目标位置更近的可能性更大的假设就会被打破,随着d的增大e 越大,余弦窗的权值被降低,进而其的位置惩罚能力就越弱,相反,d越小说明两帧之间目标的距离越近,目标距离上一帧目标位置更近的可能性更大的假设就不会被打破,余弦窗的权值越强,进而其的位置惩罚能力就越强;

目标颜色指导的位置惩罚由目标颜色直方图提供得到颜色信息所决定,目标颜色指导的位置惩罚定义为:CF=w*Xt

其中*表示互相关操作,Xt是当前搜索图像的颜色直方图,w是利用目标颜色直方图学习到的相关滤波器,相关滤波器的学习公式如下:其中Zt是利用预测得到的跟踪结果提取到的新的目标颜色直方图,λ是一个正则化参数,y是标签,该公式可以通过快速傅里叶变换进行加速计算,可求得最终的相关滤波器如下:其中⊙是元素积,符号^表示傅里叶变换, 是 的复共轭;

将目标速度指导的位置惩罚CP与目标颜色指导的位置惩罚CF加权融合得到目标查询的惩罚:

C=αCF+(1‑α)CP

其中,α是一个超参数用于平衡目标速度指导的位置惩罚CP与目标颜色指导的位置惩罚CF,最终将目标查询的惩罚与分类分支的分类得分图相乘便得到最终的分类得分图。

2.根据权利要求1所述的图像采集模块,其特征在于,相邻摄像头之间的拍摄范围有一定重合,会出现可疑目标在两个摄像头拍摄范围内的情况。

3.根据权利要求1所述的第一部分利用设计的重要性感知损失函数离线训练跟踪网络,其特征在于,离线训练的网络选择的是SiamRPN的主干网络,网络尾部有两个分支,分别是分类分支和回归分支。

4.根据权利要求1所述的利用设计的查询引导的目标跟踪方法在下一个摄像头的拍摄范围内找到同一个可疑目标,其特征在于,在下一个摄像头内寻找目标所使用的模板图像发生了改变,变成了从上一个摄像头拍到的视频图像中跟踪方法在最后一帧定位到的目标图像,在下一个摄像头内开始寻找目标是将查询引导的目标跟踪方法中的搜索图像设置为下一个摄像头拍摄的整张图片,即全局搜索目标,找到目标后根据预测的目标位置再缩小搜索图像,在局部搜索目标。