欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019105706199
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-08-24
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度学习的异常停车实时检测方法,其特征在于,包括如下步骤:

1)相机预置位设置以及相机标定;

2)卷积神经网络模型初始化;

3)获取当前视频帧与视频帧时间;

4)检查相机工作状态;

5)使用卷积神经网络模型对兴趣区域ROI进行车辆目标检测;

6)维护静态目标跟踪队列;

7)异常停车检测;

8)异常停车目标上传。

2.如权利要求1所述的一种基于深度学习的异常停车实时检测方法,其特征在于,步骤

1)中,所述的相机预置位为进行异常停车检测时相机所处的固定位置。

3.如权利要求1所述的一种基于深度学习的异常停车实时检测方法,其特征在于,步骤

1)中,所述的相机预置位设置为将摄像头调整到合适的异常停车检测位置,并将当前相机位置设置为预置位。

4.如权利要求1所述的一种基于深度学习的异常停车实时检测方法,其特征在于,步骤

1)中,所述的相机标定为截取相机视频流的一帧图像,在其上进行车道线、兴趣区域ROI、异常停车检测区域的标定。

5.如权利要求1所述的一种基于深度学习的异常停车实时检测方法,其特征在于,步骤

2)中,所述的卷积神经网络模型为YOLOv3,卷积神经网络模型初始化为卷积网络模型加载到GPU显卡中以及权重参数恢复。

6.如权利要求1所述的一种基于深度学习的异常停车实时检测方法,其特征在于,步骤

4)中,所述的检查相机工作状态具体包括以下步骤:

4.1):获取当前相机的位置信息,与预置位比较是否相同,若相同,则进行异常停车检测;否则,将静态目标跟踪队列以及历史异常停车队列重置,并且不进行异常停车检测,直到相机位置恢复到与预置位相同;

4.2):计算当前视频帧时间Tcur与前一帧时间Tpre的时间间隔Tspace,单位为秒,根据公式(1)计算:Tspace=Tcur-Tpre                                                     (1)若Tspace≥3,则将静态目标跟踪队列以及历史异常停车队列重置;否则进行正常的异常停车检测。

7.如权利要求1所述的一种基于深度学习的异常停车实时检测方法,其特征在于,步骤

6)中,所述的维护静态目标跟踪队列包含以下步骤:

6.1):得到当前帧的车辆目标检测结果后,过滤掉不在车道线内以及异常停车检测区域内的车辆;

6.2):基于检测的静态目标匹配:

6.2.1):计算当前帧检测到的车辆目标D和静态目标跟踪队列中目标Q的IoU和宽高误差Ew、Eh;IoU根据公式(2)计算:其中,Dbox为当前帧的车辆目标D的边界框box,Qinit_box为跟踪队列中目标Q的初始边界框init_box,∩为求交集,∪为求并集;

宽高误差Ew、Eh分别根据公式(3)、公式(4)计算:

其中abs()为求绝对值,Dw和Dh分别为当前帧的车辆目标D边界框box的宽高,Qw和Qh分别为跟踪队列中目标Q边界框box的宽高;

6.2.2):如果IoU≥IoUthreshold,Ew≤Ew_threshold,Eh≤Eh_threshold,则认为D和Q是同一辆车且是静止车辆,将Q标记为当前帧已检测;否则,则将该车辆目标D加入跟踪队列中,初始box为当前目标D的box,初始图像为当前视频帧,初始时间Qinit_time为当前视频帧的时间;其中IoUthreshold,Ew_threshold,Eh_threshold为预先设置的阈值,IoUthreshold的取值范围为0~1.0,Ew_threshold和Eh_threshold的取值要求大于等于0;

6.3):维护静态目标跟踪队列:在静态目标跟踪队列中,若存在跟踪目标Q在当前帧中没有检测到、且前Errortolerate_frame帧也没有得到更新,则认为该目标已经移动,需要将该跟踪目标Q从跟踪队列中移除;其中Errortolerate_frame为预先设置的可调值,Errortolerate_frame≥1。

8.如权利要求1所述的一种基于深度学习的异常停车实时检测方法,其特征在于,步骤

7)中,所述的异常停车检测包含以下步骤;

7.1):维护历史异常停车队列为将队列中满足条件TspaceL≥ThresholdparkTolerantTime的目标移除;

TspaceL根据公式(5)计算:

TspaceL=Tcur-Platest_time                                                  (5)其中Tcur为当前视频帧时间,Platest_time为历史异常停车目标P的最新检测时间;

7.2):判断目标车辆是否异常停止:跟踪目标Q满足During≥Thresholdduring以及parkScore≥Thresholdpark,则判断该目标车辆Q异常停止;其中Thresholdduring,Thresholdpark为预先设置的阈值,Thresholdduring的单位为秒,其取值范围为Thresholdduring≥1,Thresholdpark的取值范围为0~1.0;parkScore表示异常停车分数;

停留时间During根据公式(6)计算:

During=Tcur-Qinit_time                                                (6)其中,Tcur为当前视频帧时间,Qinit_time为跟踪目标Q的初始时间;

parkScore根据公式(7)计算:

其中,TrackQueue为静态目标跟踪队列,Qarea为跟踪目标Q前5个车位内的区域,且该区域Qarea限制在跟踪目标Q所处车道,|.|为计算区域Qarea或者车辆在道路行驶方向上的长度,为判断qi是否在区域Qarea内的指示函数,若qi在Qarea内,则返回1,否则,返回0。

9.如权利要求1所述的一种基于深度学习的异常停车实时检测方法,其特征在于,步骤

8)中,所述的异常停车上传包含以下步骤:

8.1):计算当前帧检测到的异常停车目标D和历史异常停车队列中目标P的IoU和宽高误差Ew、Eh;IoU根据公式(8)计算:其中,Dbox为当前帧检测到的异常停车目标D的边界框box,Pbox为历史异常停车队列中目标P的边界框box,∩为求交集,∪为求并集;

宽高误差Ew、Eh分别根据公式(9)、公式(10)计算:

其中abs()为求绝对值,Dw和Dh分别为当前帧的车辆目标D边界框box的宽高,Pw和Ph分别为跟踪队列中目标P边界框box的宽高;

8.2):如果IoU≥IoUthreshold,Ew≤Ew_threshold,Eh≤Eh_threshold,则认为当前帧检测到的异常停车目标D已经处于历史异常停车队列中;

8.3):如果当前帧检测到的异常停车目标D不在历史异常停车队列中,则向历史异常停车队列添加该目标信息P,上报时间和最新检测时间为当前时间,边界框box为异常停车目标D的初始边界框init_box,并上报该异常停车目标;否则,更新历史异常停车目标中该目标信息,最新检测时间设置为当前时间,如果历史异常停车队列中该目标满足Duringreport≥ThresholdparkSaveInterval,则上报该异常停车目标,并设置上报时间report_time为当前时间;ThresholdparkSaveInterval表示违停上报时间间隔,单位为秒,其取值范围为ThresholdparkSaveInterval≥1;

上报间隔时间Duringreport根据公式(11)计算:

Duringreport=Tcur-Preport_time        (11)其中,Tcur为当前视频帧时间,Preport_time为异常停车目标P的违停上报时间;

8.4):如果需要进行异常停车上报,则在异常停车目标D的初始视频帧和当前视频帧上绘制出检测框,并在视频帧底边添加视频帧时间和地点信息后将两张图像左右排列合并,最后将异常停车信息以及合成图进行上报。