欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2013106515613
申请人: 宁波大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-07-20
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种视频显著图提取方法,其特征在于包括以下步骤:

①对呈三维立方体的二维视频在时域上进行采样,得到二维视频的T个X-Y截面图像,即得到二维视频的T个时刻的视频帧,将二维视频中的t时刻的视频帧记为{It(x,y)},将{It(x,y)}中坐标位置为(x,y)的像素点的像素值记为It(x,y),其中,T表示二维视频中包含的视频帧的总帧数,1≤t≤T,1≤x≤W,1≤y≤H,W表示二维视频中各时刻的视频帧的宽,H表示二维视频中各时刻的视频帧的高;

同样,对呈三维立方体的二维视频在X方向上进行采样,得到二维视频的W个Y-T截面图像,将二维视频中的第x个Y-T截面图像记为{Ix(y,t)},将{Ix(y,t)}中坐标位置为(y,t)的像素点的像素值记为Ix(y,t),Ix(y,t)=It(x,y);

同样,对呈三维立方体的二维视频在Y方向上进行采样,得到二维视频的H个X-T截面图像,将二维视频中的第y个X-T截面图像记为{Iy(x,t)},将{Iy(x,t)}中坐标位置为(x,t)的像素点的像素值记为Iy(x,t),Iy(x,t)=It(x,y);

②对二维视频中的每个Y-T截面图像进行低秩矩阵分解,并获取二维视频中的每个Y-T截面图像的最优垂直方向运动矩阵,同样对二维视频中的每个X-T截面图像进行低秩矩阵分解,并获取二维视频中的每个X-T截面图像的最优水平方向运动矩阵;然后根据二维视频中的每个Y-T截面图像的最优垂直方向运动矩阵和每个X-T截面图像的最优水平方向运动矩阵,获取二维视频中每个时刻的视频帧的运动显著图,将二维视频中的t时刻的视频帧{It(x,y)}的运动显著图记为{St,motion(x,y)},其中,St,motion(x,y)表示{St,motion(x,y)}中坐标位置为(x,y)的像素点的像素值;

③提取二维视频中每个时刻的视频帧中的每个像素点的特征矢量;然后对提取得到的所有像素点的特征矢量构成的矩阵进行低秩矩阵分解,并获取二维视频中每个时刻的视频帧中的所有像素点的特征矢量构成的矩阵的最优背景矩阵和最优运动矩阵;再根据二维视频中每个时刻的视频帧中的所有像素点的特征矢量构成的矩阵的最优运动矩阵,获得二维视频中每个时刻的视频帧的空间显著图,将二维视频中的t时刻的视频帧{It(x,y)}的空间显著图记为{St,spatial(x,y)},其中,St,spatial(x,y)表示{St,spatial(x,y)}中坐标位置为(x,y)的像素点的像素值;

④对二维视频中每个时刻的视频帧的运动显著图和空间显著图进行融合,得到二维视频中每个时刻的视频帧的视频显著图,将二维视频中t时刻的视频帧{It(x,y)}的视频显著图记为{Svideo(x,y)},将{Svideo(x,y)}中坐标位置为(x,y)的像素点的像素值记为α 1-αSvideo(x,y),Svideo(x,y)=(St,motion(x,y)) ×(St,spatial(x,y)) ,其中,α为权重系数。

2.根据权利要求1所述的一种视频显著图提取方法,其特征在于所述的步骤②的具体过程为:

②-1、对二维视频中的每个Y-T截面图像进行低秩矩阵分解,得到二维视频中的每个Y-T截面图像的所有垂直方向背景矩阵和所有垂直方向运动矩阵;

②-2、利用最小化概率密度函数,获取二维视频中的每个Y-T截面图像的最优垂直方向背景矩阵和最优垂直方向运动矩阵,将二维视频中的第x个Y-T截面图像{Ix(y,t)}的最优垂直方向背景矩阵和最优垂直方向运动矩阵对应记为 和 将 和 的组合记为其中,Sx为二维视频中的第x个Y-T截面图

像{Ix(y,t)}的矩阵形式表示, Sx、 和 的维数均为H×T,argmin[]表

示最小化概率密度函数,Ωx表示对Sx进行低秩矩阵分解得到的所有的垂直方向背景矩阵和垂直方向运动矩阵的组合(Bx,Mx)的集合,(Bx,Mx)∈Ωx,符号“|| ||*”为求取矩阵核的范数符号,符号“|| ||1”为求取矩阵的1-范数符号,λ为拉格朗日乘子;

②-3、根据二维视频的W个Y-T截面图像各自的最优垂直方向运动矩阵,通过在X方向上进行叠加,构造得到Y-T截面图像的立方体,记为ScubeYT,其中,ScubeYT的维数为W×H×T;

②-4、对二维视频中的每个X-T截面图像进行低秩矩阵分解,得到二维视频中的每个X-T截面图像的所有水平方向背景矩阵和所有水平方向运动矩阵;

②-5、利用最小化概率密度函数,获取二维视频中的每个X-T截面图像的最优水平方向背景矩阵和最优水平方向运动矩阵,将二维视频中的第y个X-T截面图像{Iy(x,t)}的最优水平方向背景矩阵和最优水平方向运动矩阵对应记为 和 将 和 的组合记为其中,Sy为二维视频中的第y个X-T截面图

像{Iy(x,t)}的矩阵形式表示, Sy、 和 的维数均为W×T,Ωy表示对Sy

进行低秩矩阵分解得到的所有的水平方向背景矩阵和水平方向运动矩阵的组合(By,My)的集合,(By,My)∈Ωy;

②-6、根据二维视频的H个X-T截面图像各自的最优水平方向运动矩阵,通过在Y方向上进行叠加,构造得到X-T截面图像的立方体,记为ScubeXT,其中,ScubeXT的维数为W×H×T;

②-7、计算norm(ScubeXT·*ScubeYT)作为二维视频的初步的运动显著图,其中,norm()表示归一化操作,norm(ScubeXT·*ScubeYT)中的符号“·*”为矩阵点乘符号;

②-8、采用高斯滤波器对二维视频的初步的运动显著图中每个时刻的X-Y截面图像进行平滑操作,得到二维视频中每个时刻的视频帧的运动显著图,将二维视频中的t时刻的视频帧{It(x,y)}的运动显著图记为{St,motion(x,y)},将{St,motion(x,y)}中坐标位置为(x,y)的像素点的像素值记为St,motion(x,y),St,motion(x,y)=S′t,motion(x,y)*Gσ(x,y),其中,S′t,motion(x,y)表示二维视频的初步的运动显著图中的t时刻的X-Y截面图像,“*”为卷积操作符号,Gσ(x,y)表示标准差为σ的高斯函数, exp()为以e为底的指数函数,e表示自然基数。

3.根据权利要求2所述的一种视频显著图提取方法,其特征在于所述的步骤②-2和所述的步骤②-5中取λ=0.06;所述的步骤②-8中取σ=5。

4.根据权利要求1至3中任一项所述的一种视频显著图提取方法,其特征在于所述的步骤③的具体过程为:③-1、将当前正在处理的二维视频中的t时刻的视频帧{It(x,y)}定义为当前视频帧;

③-2、提取当前视频帧中的每个像素点的红颜色分量、绿颜色分量、蓝颜色分量、色调分量和饱和度分量,由提取出的每个像素点的红颜色分量、绿颜色分量、蓝颜色分量、色调分量和饱和度分量构成对应像素点的第一特征矢量,其中,当前视频帧中的每个像素点的第一特征矢量的维数为5×(W×H);

③-3、提取当前视频帧中的每个像素点经4个方向和3个尺度的可控金字塔滤波后

得到的振幅,由提取出的每个像素点对应的12个振幅构成对应像素点的第二特征矢量,其中,当前视频帧中的每个像素点的第二特征矢量的维数为12×(W×H);

③-4、提取当前视频帧中的每个像素点经12个方向和3个尺度的Gabor滤波后得到的振幅,由提取出的每个像素点对应的36个振幅构成对应像素点的第三特征矢量,其中,当前视频帧中的每个像素点的第三特征矢量的维数为36×(W×H);

③-5、将当前视频帧中的每个像素点的第一特征矢量、第二特征矢量和第三特征矢量按序重组构成对应像素点的特征矢量,然后对当前视频帧中的所有像素点的特征矢量构成的矩阵进行低秩矩阵分解,得到当前视频帧中的所有像素点的特征矢量构成的矩阵的所有背景矩阵和所有运动矩阵;

③-6、利用最小化概率密度函数,获取当前视频帧中的所有像素点的特征矢量构

成的矩阵的最优背景矩阵和最优运动矩阵,对应记为 和 将 和 的组合记为

其中,F为当前视频帧中的所有像素点的特

征矢量构成的矩阵, F、 和 的维数均为53×(W×H),argmin[]表示最小

化概率密度函数,Ωt表示对F进行低秩矩阵分解得到的所有的背景矩阵和运动矩阵的组合(Bt,Mt)的集合,(Bt,Mt)∈Ωt,符号“|| ||*”为求取矩阵核的范数符号,符号“|| ||1”为求取矩阵的1-范数符号,λ为拉格朗日乘子;

③-7、采用超像素分割技术将当前视频帧分割成M个互不重叠的区域,然后将 表

示为 其中,M≥1, 表示由 中属于第1个区域内

的所有像素点的特征矢量构成的矩阵, 表示由 中属于第2个区域内的所有像素点的特征矢量构成的矩阵, 表示由 中属于第M个区域内的所有像素点的特征矢量构成的矩阵, 为 的转置矢量, 为 的转置矢量, 为 的转置矢量, 为 的转置矢量,符号“[]”为

矢量表示符号;

③-8、计算当前视频帧中的每个区域的空间显著值,将当前视频帧中的第k个区域的空间显著值记为ft,k, 然后将当前视频帧中的每个区域的空间显著值作为对应区域内的所有像素点的空间显著值,得到当前视频帧中的每个像素点的空间显著值,从而得到当前视频帧的空间显著图,记为{St,spatial(x,y)},其中,1≤k≤M, 表示由 中属于第k个区域内的所有像素点的特征矢量构成的矩阵,St,spatial(x,y)表示{St,spatial(x,y)}中坐标位置为(x,y)的像素点的像素值;

③-9、令t=t+1,将二维视频中下一个时刻的视频帧作为当前视频帧,然后返回步骤③-2继续执行,直至二维视频中的所有视频帧处理完毕,得到二维视频中每个时刻的视频帧的空间显著图,其中,t=t+1中的“=”为赋值符号。

5.根据权利要求4所述的一种视频显著图提取方法,其特征在于所述的步骤③-6中取λ=0.06;所述的步骤③-7中取M=200。

6.根据权利要求5所述的一种视频显著图提取方法,其特征在于所述的步骤④中取α=0.3。