欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2016100663507
申请人: 江南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-10-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于视频信号的事件识别方法,其特征在于,其包括事件训练和事件识别两个步骤,事件训练步骤只需执行一次,事件训练执行完毕后,事件识别可执行任意次;

事件训练步骤包括训练用视频段获取及预处理、训练用组图像构造和对训练用组图像进行特征提取三个步骤;

事件识别步骤包括识别用视频段获取及预处理、识别用组图像构造、对识别用组图像进行特征提取和对识别用视频段分类四个步骤;

训练用视频段获取及预处理步骤包括以下子步骤:

1.1训练用视频段获取:利用摄像头拍摄含有待识别事件的视频;

1.2训练用视频段预处理:对步骤1.1中的视频进行剪截,去掉与待识别事件无关的帧形成母视频;

训练用组图像构造步骤包括以下子步骤:

2.1样本图像采集:计算采样时间间隔、确定样本图像采集位置、将母视频中样本图像采集位置的帧图像取出;

2.2构造母视频的事件对象模板:构造样本图像的事件对象模板、构造母视频的事件对象模板;

2.3构造训练用组图像;

对训练用组图像进行特征提取步骤包括以下子步骤:

3.1构造关联图像矩阵集;

3.2构造投影矩阵:关联图像矩阵集的0均值化、构造左投影矩阵、构造右投影矩阵;

3.3对关联图像矩阵集作投影。

识别用视频段获取及预处理步骤与训练用视频段获取及预处理步骤相同;

识别用组图像构造步骤与训练用组图像构造步骤相同;

对识别用组图像进行特征提取步骤与对训练用组图像进行特征提取步骤相同;

对识别用视频段分类步骤:将事件识别步骤中的母视频的特征和事件训练步骤中的母视频的特征进行比较并进行判定。

2.根据权利要求1所述的一种基于视频信号的事件识别方法,其特征在于,识别用视频段获取及预处理步骤与训练用视频段获取及预处理步骤中均采用同一个固定摄像头设备。

3.根据权利要求1所述的一种基于视频信号的事件识别方法,其特征在于,步骤1.2训练用视频段预处理具体包括:从步骤1.1中的视频段开始处扫描的各帧,找到第一个连续两帧之差大于第一阈值θ1的视频段点,将该视频段点之前的所有视频的帧删除;从当前视频段点继续扫描剩余视频的各帧,找到第一个连续两帧差之小于该第一阈值θ1的视频段点,将此视频段点之后的所有视频帧删除;将经过这样处理后的剩下的视频段称为母视频;本步骤所述两帧之差是指,先对两帧对应的图像矩阵作矩阵减法得到新的矩阵,再对此新矩阵的所有元素的绝对值求和,此和即为两帧之差;上述第一阈值是一个大于0的常数。

4.根据权利要求1所述的一种基于视频信号的事件识别方法,其特征在于,步骤2.1样本图像采集具体包括:

2.1.1计算采样时间间隔:设母视频为视频A,视频A对应的时间长度为t秒,视频为X帧/秒制式,设置一个样本数m>0,计算时间间隔d=t/m;

2.1.2确定样本图像采集位置:第i个图像采集的位置si=1+25*(i-1)*d,i≥1,即s1是视频A的第1帧图像的位置,s2是视频A的第1+25*d帧图像的位置,之后以此类推;

2.1.3将视频A中样本图像采集位置的帧图像取出,设pi是位置si的帧图像,P为存放帧图像pi的样本图像集,样本图像集P中的图像帧数为m+1;

步骤2.2构造母视频的事件对象模板具体包括:

2.2.1构造样本图像的事件对象模板:(a)在样本图像集P中,计算pi与pi+1或pi与pi-1位置的两帧图像之差,亦即将pi与pi+1或pi与pi-1位置的两帧图像对应的图像矩阵作矩阵减法而得到新的矩阵,再对此新矩阵的所有元素取绝对值;将此两帧图像之差的计算结果存于qi;(b)对qi进行腐蚀和膨胀处理,消除其背景干扰点;(c)对qi进行二值化操作:取一阈值θ>0,对图像矩阵qi的所有元素,若该元素值大于θ2则将该元素值置1,否则置0;此时qi就是样本图像pi的事件对象模板;

2.2.2构造视频A的事件对象模板:(a)从i=1起,依次对q1和qi+1进行或操作,或操作的结果存于q,直至i=m为止;或操作指将图像矩阵q1和qi+1的对应元素进行逻辑或的操作;

(b)在q中搜寻包含所有非0元素的最小矩形区域,将q中落入此矩形区域的所有元素的元素值置1;此时图像矩阵q就是关于视频A的事件对象模板;

2.3构造训练用组图像:在样本图像集P中,用模板q依次对pi作乘法操作,结果仍存放于pi;乘法操作指将图像矩阵q和图像矩阵pi的对应元素作乘法操作;此时样本图像集P即为训练用组图像。

5.根据权利要求1所述的一种基于视频信号的事件识别方法,其特征在于,步骤3.1构造关联图像矩阵集具体宝包括:设R是视频A的关联图像矩阵集,则对于一个事先选择的关联数k,有:r1是p1、p2、p3、…、pk的关联组成,r2是p2、p3、p4、…、pk+1的关联组成,其余以此类推,这样的r1、r2、…、rm-k就是视频A的关联图像矩阵集;这里的关联组成,是指这样一种操作:如果pi、pi+1、pi+2、…、pi+k的行有h个元素,则ri的某行的元素依次为:pi(1)、pi(2)、…、pi(h)、pi+1(1)、pi+1(2)、…、pi+1(h)、…、pi+k(1)、pi+k(2)、…、pi+k(h),其中pi(j)是pi中与ri的某行相同行的第j个元素。亦即ri的每一行都是由pi、pi+1、pi+2、…、pi+k的相同各行的依次首尾联接而组成;

步骤3.2构造投影矩阵具体包括:

3.2.1:关联图像矩阵集的0均值化:设关联图像矩阵集的矩阵数为n,则(a)计算均值(b)计算ci=ri-u;

3.2.2构造左投影矩阵:(a)计算 (b)计算CU的特征值,将这些特征值降序排序,取其中前l个特征值,(c)找出与此l个特征值对应的特征向量,(d)将这些特征向量依次作为矩阵U的列;矩阵U就是所求的左投影矩阵;其中 是ci的转置矩阵。

3.3.3构造右投影矩阵;(a)计算 (b)计算CV的特征值,将这些特征值降序排序,取其中前l’个特征值,(c)找出与此l’个特征值对应的特征向量,(d)将这些特征向量依次作为矩阵V的列;矩阵V就是所求的右投影矩阵;其中 是ci的转置矩阵,T

步骤3.3对关联图像矩阵集作投影具体包括:作矩阵计算bi=UciV,这里一组bi就是视频A的特征。

6.根据权利要求1所述的一种基于视频信号的事件识别方法,其特征在于,识别用视频段获取及预处理步骤具体包括以下子步骤:

4.1识别用视频段获取:利用摄像头设备拍摄一段含有待识别事件的视频;

4.2识别用视频段预处理:对4.1中所获的视频进行剪截,具体做法是,从视频段开始处扫描视频段的各帧,找到第一个连续两帧之差大于第二阈值θ2的视频段点,将该视频段点之前的所有视频的帧删除;从当前视频段点继续扫描剩余视频的各帧,找到第一个连续两帧差之小于第二阈值θ2的视频段点,将此视频段点之后的所有视频帧删除;本步骤所述两帧之差的含义同子步骤1.2;上述第二阈值θ2是一个大于0的常数。

7.根据权利要求1所述的一种基于视频信号的事件识别方法,其特征在于,识别用组图像构造步骤具体包括以下子步骤:

5.1样本图像集采集:设由步骤4.1所得到的母视频为视频F,视频F对应的时间长度为t’秒,视频为X帧/秒制式;样本图像集的采集按以下步骤进行:

5.1.1计算采样时间间隔d’:取步骤2.1.1中设置的样本数m,计算时间间隔d’=t’/m;

5.1.2确定样本图像采集位置:第i个图像采集的位置s’i=1+25*(i-1)*d’,即s’1是视频F的第1帧图像的位置,s’2是视频F的第1+25*d’帧图像的位置,之后也以此类推;

5.1.3将视频F中样本图像采集位置的帧图像取出,设p’i是位置s’i的帧图像,P’为存放帧图像p’i的样本图像集,样本图像集P’中的图像帧数为m+1;

5.2构造视频F的事件对象模板:

5.2.1构造样本图像的事件对象模板:(a)在样本图像集P’中,计算p’i与p’i+1或p’i与p’i-1位置的两帧图像之差,即将p’i与p’i+1或p’i与p’i-1位置的两帧图像对应的图像矩阵作矩阵减法而得到新的矩阵,再对此新矩阵的所有元素取绝对值;将此两帧图像之差的计算结果存于q’i;(b)对q’i进行适当的腐蚀和膨胀处理,消除其背景干扰点;(c)对q’i进行二值化操作:取一阈值θ’>0,对图像矩阵q’i的所有元素,若该元素值大于θ’则将该元素值置

1,否则置0;此时q’i就是样本图像p’i的事件对象模板;

5.2.2构造视频F的事件对象模板:(a)从i=1起,依次对q’1和q’i+1进行或操作,或操作的结果存于q’,直至i=m为止;或操作指将图像矩阵q’1和q’i+1的对应元素进行逻辑或的操作;(b)在q’中搜寻包含所有非0元素的最小矩形区域,将q’中落入此矩形区域的所有元素的元素值置1;此时图像矩阵q’就是关于视频F的事件对象模板;

5.3构造训练用组图像:在样本图像集P’中,用模板q’依次对p’i作乘法操作,结果仍存放于p’i;乘法操作指将图像矩阵q’和图像矩阵p’i的对应元素作乘法操作;此时样本图像集P’即为识别用组图像。

8.根据权利要求1所述的一种基于视频信号的事件识别方法,其特征在于,对识别用组图像进行特征提取步骤具体包括以下子步骤:

6.1构造关联图像矩阵集:设R’是视频F的关联图像矩阵集,取关联数k为与步骤3.1的相同,有:r’1是p’1、p’2、p’3、…、p’k的关联组成,r’2是p’2、p’3、p’4、…、p’k+1的关联组成,其余以此类推,这样的r’1、r’2、…、r’m-k就是视频F的关联图像矩阵集;这里的关联组成,是指这样一种操作:如果p’i、p’i+1、p’i+2、…、p’i+k的行有h个元素,则r’i的某行的元素依次为:p’i(1)、p’i(2)、…、p’i(h)、p’i+1(1)、p’i+1(2)、…、p’i+1(h)、…、p’i+k(1)、p’i+k(2)、…、p’i+k(h),其中p’i(j)是p’i中与r’i的某行相同行的第j个元素;亦即r’i的每一行都是由p’i、p’i+1、p’i+2、…、p’i+k的相同各行的依次首尾联接而组成;

6.2关联图像矩阵集的0均值化:这里关联图像矩阵集的矩阵数应与步骤3.2.1的相同,为n,则(a)计算均值 (b)计算c'i=r'i-u'。

6.3对关联图像矩阵集作投影。作矩阵计算b'i=UTc'iV,这里一组b'i就是视频F的特征。

9.根据权利要求1所述的一种基于视频信号的事件识别方法,其特征在于,对识别用视频段分类具体包括以下子步骤:

7.1计算特征距离:(a)令i从1开始,执行(a.1)计算bi与b’i之差值并将结果存于gi中,(a.2)将gi的各元素值置为其绝对值,直至i=n为止;(b)计算所有gi的所有元素之和,结果存于Σ中。

7.2设置一个距离阈值α〉0,若Σ<α则判定视频F中的事件与视频A中的相同,否则为不同或不能确定。