1.一种拥挤场景下视频异常事件检测方法,其特征在于包括如下步骤:步骤(1)特征提取,具体如下:
将视频中每一帧分割成互不重叠且大小为N×N的块,并连续取M帧,得到大小为N×N×M的立体块,因此M帧长的视频由若干个立体块组成,每个立体块称为原子;设视频帧的分辨率大小为W×H,每一帧得到块的数量 其中表示向下取整;t时刻loci位置块的运动信息用一个直方图表示
1≤loci≤f_block,loci是整数,其中hi,1≤i≤4,是loci位置块根据光流方向按90度间隔量化获得的4个方向上的光流幅值之和;当前时刻为t,结合t时刻的前(M-1)/2帧与后(M-1)/2帧的直方图信息,t时刻loci位置上的原子表示为M取奇数,1≤loci≤f_block;对于一段视频,以M帧为单位分成P小段,得到的原子数量为P×f_block,由这些原子构成该视频的原子集合;
步骤(2)特征学习,具体如下:
2-1.采用拉普拉斯特征映射方法把原子集合映射到低维空间中,再对其进行聚类;首先对原子集构建图G=(V,E),顶点集V表示各个原子,带权重的边E表示各个原子之间的相似度,图中第i个原子与第j个原子之间边的权重按式(1)计算,1≤i≤P×f_block,
1≤j≤P×f_block:
公式(1)右边第一项中 的数学表达式为:
余弦距离 其中
σr是尺度因子,其中xG是xr第G
个近邻点,近邻的距离度量采用欧氏距离,r=i或j;
公式(1)右边第二项中, 表示第i个原子与第j个原子空间上的欧氏距离;σs为空间尺度因子;构建完图后,借助于图对原子进行谱聚类;在图论中,聚类的问题转变为图割的问题;其原则是子图内的边权重最大化和各子图间的边权重最小化;被切断的边权重之和最小,即使式(3)所示目标函数最小化;
其中wij由公式(1)给出;yi和yj分别是xi和xj映射到目标空间上的坐标向量,Y由向量yi组成,1≤i≤P×f_block;目标函数最小化的问题等价于求解最优的Y:T
Yopt=argmin(YLY)s.t.Y DY=1 (4)公式(4)中,拉普拉斯矩阵L=D-W;D是对角阵,其对角线上元素值dii=∑ jwij;W由wij构成;计算L相对于D的广义特征值和特征向量,选取l个最小非零特征值以及对应的特征向量;将求得的l个特征向量并成一个(P×f_block)×l的特征向量空间,其中每一行代表原子在l维空间的坐标;最后根据每个原子的l维空间坐标,采用Lihi Zelnik-Manor的自适应聚类方法在l维空间对原子进行聚类,聚类后得到Num0个类,每一类的类中心表示一类事件的局部特征,类中心按式(5)计算:Nk表示属于第k类事件的原子个数;类中心作为码字,位置loci上所有可能的码字组成码本;
2-2.在loci位置块上建立码本的过程如下:
(a)建立初始码本,将训练数据进行步骤2-1的特征学习得到Num类事件,Num=Num0;
按式(6)计算wk,loci,如果wk,loci>0,则把第k类的类中心作为码字添加到位置loci上的码本中,同时保存第k类局部特征的训练数据,k={1,2,...........Num0};
其中nk,loci表示位置loci上第k类事件发生的次数,1≤loci≤f_block;
(b)输入新的训练数据 将它与loci位置块上的码本比较,若满足特征距离相似度 时,th为设定的阈值;将 加入到一个新的集合U中,否则把 加入到位置loci上最相似类局部特征的训练数据中,然后重新计算这类局部特征的类中心,更新码本中码字,其中 是按式(7)计算的特征距离的相似度;
其中 表示在位置loci上的码本中第k个码字,1≤k≤Num;
(c)当集合U中的数据数量未达到Q时,返回步骤(b);当集合U中的数据数量达到Q时,重新对集合U进行步骤2-1操作,聚类成Num1类,更新Num0为Num0=Num1,如果wk,loci>0,则就把第k类事件类中心作为码字添加到位置loci上的码本中,同时保存第k类局部特征的训练数据,k={1,2,...........Num0};清空集合U,类目总数Num更新为Num=Num+Num1,判断所有输入的训练数据 是否训练完毕,若未完毕则返回步骤(b);
步骤(3)视频异常事件检测,具体是:
将测试数据 与训练阶段建立的loci位置块的码本进行比较,1≤loci≤f_block,若满足 时,则初步认为 在loci位置块上有异常事件发生,否则没有发生;
步骤(4)时空后处理,具体是:
在t时刻,若loci位置块的初始被判有异常事件发生,则考虑loci位置块在t-1时刻的8-邻域,如果在邻域中至少有两个位置存在异常,则判loci位置块上有异常事件发生,否则没有异常事件发生。