1.基于显著性区域的视频关键帧提取方法,其特征在于,具体包括如下步骤:步骤一、对视频数据进行采样转换,将视频转换为连续的帧图像序列;
步骤二、在每帧图像中利用频谱残差模型提取显著性区域;
步骤三、根据图像中显著性区域的面积将其排序,并对排序靠前的显著性区域进行颜色矢量化;
根据显著性区域的面积,在图像中将显著性区域按照从大到小的顺序进行排序,利用排序靠前的多个显著性区域,就可以判断前后帧图像的相似性,针对每个显著性区域,分别在R、G、B三个通道进行颜色矢量化,生成对应的颜色矢量,具体步骤包括:
1)在第i帧图像Ii中,提取到的显著性区域表示为 其中是图像Ii中第r个显著性区域,对显著性区域Si按照面积从大到小的顺序进行排序,取出排序靠前的前z个显著性区域S′i,表示为
2)对显著性区域S′i中第r个显著性区域 分别在R、G、B三个通道、灰度值为0到255的区间内进行直方图统计,生成对应的颜色矢量 和 进而生成与第r个显著性区域对应的颜色矢量 相应地,显著性区域S′i对应的颜色矢量步骤四、在前后帧图像之间根据矢量化后的显著性区域进行相似性度量,根据相似度的大小确定视频关键帧;
在前后帧图像之间通过显著性区域对应的颜色矢量进行相似性度量,如果相似度较小,则前后帧图像包含的内容差异较大,可以确定为关键帧,反之,如果相似度较大,则前后帧图像包含的内容差异较小,从帧图像序列中剔除,在所有帧图像中完成相似性度量后,剩余的帧图像即为视频对应的关键帧序列,具体步骤包括:
1)为了判断第i帧图像Ii和第i+1帧图像Ii+1的内容相似度,在它们对应的颜色矢量Vi和Vi+1之间进行余弦相似性度量,由于矢量Vi由z个分矢量 所组成,进而矢量Vi和Vi+1之间的相似性度量就转化为z个对应分矢量 和 之间的相似性度量,可以表示为
2)在z个对应分矢量 和 相似性度量完成后,可以得到z个相似性度量值,如果相似度较大,则说明前后帧图像中的显著性区域 和 包含的内容相似,如果相似度较小,则说明 和 包含的内容差异较大,对于帧图像Ii和Ii+1之间的整体相似度,取z个相似度中的最小值,可以表示为 从而可以反映出前后帧图像包含内容的差异性;
3)在计算出帧图像Ii和Ii+1之间的整体相似度后,设定相似度阈值T,如果sim(Ii,Ii+1)≤T,则说明Ii和Ii+1包含的内容差异较大,Ii和Ii+1均保留为关键帧图像,如果sim(Ii,Ii+1)>T,则说明Ii+1与Ii包含的内容相似度较高,Ii保留为关键帧图像,而Ii+1从帧图像序列中剔除,当依次遍历所有的帧图像后,即可最终确定视频的关键帧图像序列。
2.如权利要求1所述的基于显著性区域的视频关键帧提取方法,其特征在于,在步骤一种,根据视频包含的总帧数和帧率,设定视频采样频率,并根据采样频率将视频转换为一组连续的帧图像序列;在视频数据中,总帧数为NT,帧率为nf,采样频率为ns,则采样后的连续帧图像序列为 其中
3.如权利要求1所述的基于显著性区域的视频关键帧提取方法,其特征在于,在步骤二中,对每帧图像在频域内进行傅里叶变换,计算得出频谱残差,进而在时域内根据傅里叶反变换提取图像中的显著性区域,具体步骤包括:
1)在频域内对第i帧图像Ii进行傅里叶变换,得出变换后的幅度谱A(f)和相位谱P(f),其中 进而计算出对数幅度谱L(f),其中L(f)=log(A(f));
2)设定一个n*n的局部均值滤波器hn(f),与对数幅度谱L(f)进行卷积,进而计算出频谱残差R(f),其中R(f)=L(f)‑hn(f)*L(f);
3)在时域内对频谱残差R(f)进行傅里叶反变换,并采用高斯滤波器g(x)进行平滑,从而得出图像Ii对应的显著性区域Si,其中