欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2012101169569
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-08-24
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种全景视频序列图像的多目标对象跟踪系统,其特征在于:所述全景视频序列图像的多目标对象跟踪系统包括用以捕获到整个场景内目标对象的全景视频图像的全方位摄像装置,所述全方位摄像装置用ODVS表示,所述ODVS安置在监控场景的中部上方,所述ODVS通过USB接口与微处理器进行连接;所述的微处理器通过计算机网络与所述的PC机进行连接;所述的微处理器包括:视频图像读取单元,用于通过USB接口读取ODVS所拍摄的全景图像,并将读取的全景图像提交给视频图像展开单元和视频图像存储单元;

视频图像展开单元,用于将全景图像进行柱状展开,展开后的全景柱状图像提交给目标对象检测单元;

目标对象检测跟踪单元,用于检测在全景柱状展开图像中存在的移动目标对象,并用矩形框框住目标对象,用一种Motion History or Energy Images算法,以下简称MHoEI算法,用目标对象的运动历史和能量图像来提取和跟踪目标对象;所述的PC主要进行全景视频图像的形式化处理和行为语义化处理,多目标对象跟踪单元用于多目标对象在场景中发生遮挡、分离和合并等情况时进行有效的跟踪;

所述的视频图像展开单元,用于将全景图像进行柱状展开,展开后的全景柱状图像提交给所述的目标对象检测跟踪单元;

所述的目标对象检测跟踪单元,用于检测和跟踪在全景柱状展开图像中存在的运动目标对象,采用MHoEI算法对目标对象的运动历史和能量图像来提取和跟踪目标对象,得到感兴趣区域ROI、区域的质心坐标值以及区域框的大小值;这些目标对象的提取和跟踪数据并同全景视频图像以软件接口的方式通过网络递交给所述的多目标对象跟踪单元进行处理;

所述的多目标对象跟踪单元,用于多目标对象在场景中发生遮挡、分离和合并等情况时进行有效的跟踪。

2.如权利要求1所述的全景视频序列图像的多目标对象跟踪系统,其特征在于:所述的目标对象检测跟踪单元,用于检测和跟踪在全景柱状展开图像中存在的运动目标对象,采用MHoEI算法对目标对象的运动历史和能量图像来提取和跟踪目标对象,用公式(3)表示:式中,S为目标对象的运动速度,τ为持续时间,D(x,y,t)为运动区域的二进制图像序列,Hτ(x,y,t-1)为非运动区域的二进制图像序列,持续时间τ需要根据目标对象运动速度S进行动态调整。

3.如权利要求1或2所述的全景视频序列图像的多目标对象跟踪系统,其特征在于:

所述的目标对象检测跟踪单元,为了实现运动目标对象有效分割和在分割的同时消除运动目标所产生的阴影,在进行帧差法过程中利用阴影与非阴影区域区别的某些特征来消除阴影,主要依据阴影区域中像素的色度与背景像素色度相比几乎相等的特征,将原图像的RGB色彩空间转化成HSI色彩空间,然后再进行帧差法运算就能消除阴影,RGB色彩空间转化成HSI色彩空间的计算方法如公式(7)所示,式中,R是RGB色彩空间中的红色分量,G是RGB色彩空间中的绿色分量,B是RGB色彩空间中的蓝色分量;H为HSI色彩空间中的色调,用角度表示,反映了颜色最接近什么样的光谱波长;S为HSI色彩空间中的饱和度,表征颜色的深浅程度;色调H与饱和度S合起来称色度;

对于距离ODVS的远处的目标对象,分别在H分量和S分量上进行帧差法处理,其计算公式如(8)所示,式中,IPL,H Im age(i,j)为当前输入全景图像帧中的上部H颜色分量的坐标为(i,j)点的检测结果,IPL,S Im age(i,j)为当前输入全景图像帧中的上部S颜色分量的坐标为(i,j)点的检测结果,用二值图表示,1表示前景运动目标,0表示背景,PixH,t(i,j)和PixH,t-3(i,j)分别表示全景视频图像的上部H颜色分量在第t时刻和第t-3时刻图像帧中坐标为(i,j)点的像素值,PixS,t(i,j)和PixS,t-3(i,j)分别表示全景视频图像的上部S颜色分量在第t时刻和第t-3时刻图像帧中坐标为(i,j)点的像素值,Threshold1是相应的判断阈值,这里取值为45;

对于距离ODVS的中远处的目标对象,分别在H分量和S分量上进行帧差法处理,其计算公式如(9)所示,式中,IPM,H Im age(i,j)为当前输入全景图像帧中的中部H颜色分量的坐标为(i,j)点的检测结果,IPM,S Im age(i,j)为当前输入全景图像帧中的中部S颜色分量的坐标为(i,j)点的检测结果,用二值图表示,1表示前景运动目标,0表示背景,PixH,t(i,j)和PixH,t-2(i,j)分别表示全景视频图像的中部H颜色分量在第t时刻和第t-2时刻图像帧中坐标为(i,j)点的像素值,PixS,t(i,j)和PixS,t-2(i,j)分别表示全景视频图像的中部S颜色分量在第t时刻和第t-2时刻图像帧中坐标为(i,j)点的像素值,Threshold2是相应的判断阈值,这里取值为45;

对于距离ODVS的近处的目标对象,分别在H分量和S分量上进行帧差法处理,其计算公式如(10)所示,式中,IPN,H Im age(i,j)为当前输入全景图像帧中的下部H颜色分量的坐标为(i,J)点的检测结果,IPN,S Im age(i,j)为当前输入全景图像帧中的下部S颜色分量的坐标为(i,j)点的检测结果,用二值图表示,1表示前景运动目标,0表示背景,PixH,t(i,j)和PixH,t-1(i,j)分别表示全景视频图像的中部H颜色分量在第t时刻和第t-1时刻图像帧中坐标为(i,j)点的像素值,PixS,t(i,j)和PixS,t-1(i,j)分别表示全景视频图像的中部S颜色分量在第t时刻和第t-1时刻图像帧中坐标为(i,j)点的像素值,Threshold3是相应的判断阈值,这里取值为45;

最后,对于分割后的目标对象拼合整理处理;一方面,由于色度主要由色调H与饱和度S两个部分构成,这里需要进行或运算处理;另一方面,在P4、P5和P6处理过程中将整幅全景图像分割为上、中、下三个部分,这里也需要进行或运算处理;经过这样处理得到整幅全景图像上的运动目标对象的分割图像,处理方法如公式(11)所示,D(x,y,t)=IPL,H Im age(i,j)∨IPL,S Im age(i,j)∨IPM,H Im age(i,j)∨IPM,S Im age(i,j)∨IPN,H Im age(i,j)∨IPN,S Im age(i,j) (11)式中,D(x,y,t)为当前输入全景图像帧中坐标为(i,j)点的检测结果,IPN,H Im age(i,j)为当前输入全景图像帧中的下部H颜色分量的坐标为(i,j)点的检测结果,IPN,S Im age(i,j)为当前输入全景图像帧中的下部S颜色分量的坐标为(i,j)点的检测结果,IPM,H Im age(i,j)为当前输入全景图像帧中的中部H颜色分量的坐标为(i,j)点的检测结果,IPM,S Im age(i,j)为当前输入全景图像帧中的中部S颜色分量的坐标为(i,j)点的检测结果,IPL,H Im age(i,j)为当前输入全景图像帧中的上部H颜色分量的坐标为(i,j)点的检测结果,IPL,S Im age(i,j)为当前输入全景图像帧中的上部S颜色分量的坐标为(i,j)点的检测结果。

4.如权利要求1所述的全景视频序列图像的多目标对象跟踪系统,其特征在于:所述的视频图像展开单元,用于将全景图像进行柱状展开,根据初始化处理中计算得到的全景图像的中心坐标以及图像的内外圆半径,将全景图像的中心坐标设定平面坐标系的原点** * *O (0,0)、X 轴、Y 轴、全景图像的内径为r、外径为R,用r1=(r+R)/2设定中间圆的半径,-1 * * ** ** **方位角为β=tan (y/x);全景柱状展开图像以坐标原点O (0,0)、X 轴、Y 轴为平面坐* **标系,将全景图像中的内径为r与X 轴的交点(r,0)作为坐标原点O (0,0),以方位角β** ** **逆时针方向展开;建立全景柱状展开图像中任意一点象素坐标P (x ,y )与全景图像中的* * *象素坐标Q(x,y)的对应关系,其计算式为:

* * **

x =y/(tan(360x /π(R+r))) (4)

* **

y =(y +r)coSβ (5)

** ** * *

上式中,x ,y 为全景柱状展开图像的象素坐标值,x,y 为全景图像的象素坐标值,R为圆形全景图像的外径,r为圆形全景图像的内径,β为圆形全景图像坐标的方位角;

由于上述的全景柱状展开图像的范围是0~360°,当同一个跟踪目标对象处于0°或者360°边缘时会出现判断为两个目标对象的情况,将全景柱状展开图像的范围设置为

0~380°,即有20°左右的重叠区域。

5.如权利要求1或者2所述的全景视频序列图像的多目标对象跟踪系统,其特征在于:

所述的目标对象检测跟踪单元,在采用MHoEI算法提取和跟踪目标对象时,得到每个运动目标对象的ROI,计算第i个ROIi的质心坐标ROIi,m(x,y,t),然后利用上一个循环中得到第i个ROIi的质心坐标ROIi,m(x,y,t-1)来计算第i个运动目标对象的速度,计算方法如公式(15)所示,式中,ROIi,m(x,y,t)为当前处理帧中第i个ROIi的质心坐标,ROIi,m(x,y,t-1)为上一个处理帧中第i个ROIi的质心坐标,Δt为两帧间隔时间,Si(t)为当前处理帧中第i个ROIi的运动速度。

6.如权利要求1或者2所述的全景视频序列图像的多目标对象跟踪系统,其特征在于:

所述的目标对象检测跟踪单元,由公式(15)计算得到的目标对象运动速度Si(t)作为计算持续时间τi,M的依据;计算方法如公式(12)所示,τi,M=k/Si(t) (12)

式中,τi,M为第i个目标对象的持续时间,Si(t)为第i个目标对象的移动速度,k为某一常数;

对于距离ODVS远近不同的目标对象,τi,M值也需要适当调整,对于同样的运动速度的目标对象,距离ODVS近的目标对象在全景展开图上反映的速度会快些,则距离ODVS远的目标对象在全景展开图上反映的速度会慢些,公式(12)求得的是离ODVS中等距离情况下的τi,M值,这里对持续时间进行了归一化处理,具体做法是将近处的持续时间设置为Hτ(x,y,t)=τi,M-α,中远处的持续时间设置为Hτ(x,y,t)=τi,M,远处的持续时间设置为Hτ(x,y,t)=τi,M+α;其中α=2~4。

7.如权利要求1或者2所述的全景视频序列图像的多目标对象跟踪系统,其特征在于:

所述的目标对象检测跟踪单元,每次循环得到i个ROI感兴趣区域、区域的质心坐标值以及区域框的大小值;这些目标对象的提取和跟踪数据并同全景视频图像以软件接口的方式提供给中高层视频序列图像处理时调用。

8.如权利要求1所述的全景视频序列图像的多目标对象跟踪系统,其特征在于:所述的多目标对象跟踪单元,用于多目标对象在场景中发生遮挡、分离和合并等情况时进行有效的跟踪;为了实现多目标对象的有效跟踪需要将目标对象中的各种属性数据融合、匹配、更新,这里对每个进入场景的目标对象自动创建一个软件的object,object的描述方法如下:

9.如权利要求1所述的全景视频序列图像的多目标对象跟踪系统,其特征在于:

所述的多目标对象跟踪单元,采用彩色直方图作为颜色特征模型和多目标对象出现分裂情况时第一匹配依据,具体做法是在多个对象合并前,将各个对象的色度信息保存在object中;在多目标对象出现分裂情况时分别读取存储在object中的相关目标对象的颜色直方图 数据;同时对分裂情况时的相关目标对象的ROI做颜色直方图将巴特查理亚距离作为两个彩色直方图相似性的度量,离散巴特查理亚系

数的计算方法如公式(16)所示,

式中,ρ[Pi,Qj]∈[0,1]为巴特查理亚系数,巴特查理亚距离用公式(17)进行计算,式中,d为巴特查理亚距离,如果该值小于某一规定的阈值Threshold4就表示匹配成功,对于没有匹配成功的目标对象继续按第二匹配依据进行匹配。

10.如权利要求1所述的全景视频序列图像的多目标对象跟踪系统,其特征在于:所述的多目标对象跟踪单元,采用Hu不变矩作为目标对象形状特征和多目标对象出现分裂情况时第二匹配依据,具体做法是在多个对象合并前,将各个对象的Hu不变矩特征的7个向量信息保存在object中;在多目标对象出现分裂情况时分别读取存储在object的相关目标对象中的Hu不变矩特征向量信息;同时对分裂情况时的相关目标对象做Hu不变矩特征向量运算,将欧氏距离作为两个Hu不变矩特征相似性的度量,Hu不变矩7个特征向量的计算方法如公式(18)所示,φ1=η20+η02

2 2

φ3=(η30-3η12)+(3η21-η03)

2 2

φ4=(η30+η12)+(η21+η03)

2 2

φ5=(η30-3η12)(η30+η12)[(η30+η12)-3(η21+η03)]+(18)

2 2

(3η21-η03)(η21-η03)[3(η30+η12)-(η21+η03)]

2 2

φ6=(η20-η02)[(η30+η12)-3(η21+η03)]+4η11(η30+η12)(η21+η03)

2 2

φ7=(3η21-η03)(η30+η12)[(η30+η12)-3(η21+η03)]-

2 2

(η30-3η12)(η21+η03)[3(η30+η12)-(η21+η03)]

式中,ηpq为归一化中心距,计算方法由公式(19)给出,

式中,μpq为中心距,计算方法由公式(20)给出,

式中,f(x,y)为目标对象的二值图,和 为目标对象的重心坐标,计算方法由公式(21)给出,式中,f(x,y)为目标对象的二值图;对于每个目标对象都可以通过公式(18)~(21)计算得到其Hu不变矩的7个向量,然后用公式(22)欧氏距离去判断两者的相似性,式中,dms为存储在object中的Hu不变矩特征向量值φsi和被匹配的目标对象的Hu不变矩特征向量值φmi的欧氏距离值,S为多个目标对象合并时目标对象的个数,如果满足dmj=min{dms}j,s∈S,那么第j个object就判定为被匹配的目标对象。