欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021105976725
申请人: 广西大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-12-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于空时显著性分类和融合的视频重定向质量评价方法,其特征在于,包括:S1、根据视频的空时显著性构建一个视频分类模型,根据原始视频的运动信息和前景信息将视频分为四类:显著区域运动视频、无显著区域运动视频、显著区域静止视频和无显著区域静止视频;

S2、提取原始视频的显著信息、边缘特征、前景信息和运动特征,并采用感知几何失真、边缘组相似度、时间连续性相似失真和重要目标时间失真四个时空指标对重定向视频的质量进行评估;采用感知几何失真PGD和边缘组相似度EGS对重定向视频内容的空间失真SD进行评估,其中PGD用于评估重定向视频内容的几何失真,EGS用于评估重定向视频内容的结构失真;采用时间连续性相似失真TCD和重要目标时间失真OTD对重定向视频的时间失真TD进行评估,其中TCD用于评估重定向视频内容的信息丢失相似程度,OTD用于评估重定向视频中重要内容的时间连续性失真;

时间连续性相似失真TCD指标考虑视频内容的运动情况,通过SIFT方法对重定向视频的相邻帧进行拼接,从而得到相邻视频帧之间的重合区域,根据原始视频帧的反向注册图来计算相邻帧重合区域对应位置的信息丢失的相似程度来衡量重定向视频的时间连续性,计算方式为:步骤S211:将原始视频和重定向视频的第k帧和第k+1帧分别表示为: 和根据SIFT方法,对重定向前后的视频帧进行像素点匹配,得到重定向视频相邻帧的反向注册图 和 并得到原始视频相邻帧的拼接图步骤S212:根据原始视频相邻帧的拼接图 得到相邻帧之间的重叠区域 并得到拼接图的重要度图步骤S213:根据重定向相邻帧的反向注册图 和 删除视频内容,得到重定向过程中的丢失信息,即无内容的反向注册图 和步骤S214:根据重叠区域,对无内容的反向注册图以及拼接图的重要度图进行裁剪,得到重定向视频相邻帧重合区域的信息损失图 和 从而得到重叠区域的重要度图G;

步骤S215:以重叠区域的重要度值为权重,根据式(1),计算重定向视频相邻帧重合区域的信息损失图的距离,即得到TCD值;

其中,(i,j)是像素点坐标,G(i,j)是在像素点(i,j)处的重要度值,W、H分别为无内容反向注册图的宽和高,k为重定向视频当前帧数,K为非零数;

重要目标时间失真OTD指标为:通过评估重定向视频相邻帧的重要度图的对应像素点的位置变化情况,从而衡量重定向视频中重要区域内容的时间失真情况,计算方式为:步骤S221:根据重定向视频的第k帧和第k+1帧,得到相邻视频帧的重要度图 和步骤S222:根据原始视频的第k帧和第k+1帧,采用SIFT像素点匹配方法得到原始视频相邻帧之间像素点的对应位置关系图步骤S223:采用SIFT方法,得到原始视频帧与重定向视频帧之间的像素映射关系图Wo→r,根据Wo→r对 进行变形,得到重定向视频相邻帧之间的像素映射关系步骤S224:根据像素映射关系 和相邻视频帧的重要度图,计算相邻帧重要度图的对应像素点的位置变化程度,即为OTD值,计算如式(2)所示:其中,M,N为重定向视频的宽和高, 是重定向视频第i帧在点(i,j)的重要度值,是重定向视频第i‑1帧对应像素点(i',j')的重要度值;

步骤S225:将得到的所有帧间的OTD进行归一化处理,并取均值,使其在[0,1]之间,即为整个重定向视频的OTD值;

S3、对不同类别的视频采用不同的自适应赋予权重方法,将四种时空指标的质量分数融合得到重定向视频的整体客观质量。

2.如权利要求1所述的基于空时显著性分类和融合的视频重定向质量评价方法,其特征在于,所述步骤S1包括:步骤S11:根据SIFT特征点匹配方法,构建基于输入视频的相机运动模型,获取相邻两帧之间匹配的特征点的变换关系,在根据变换关系中累计相乘的特点得到相邻视频帧的相对位移关系;

步骤S12:采用目标检测方法提取视频的前景目标图F;

步骤S13:根据得到的相对位移关系,得到视频最后一帧与第1帧的相对位移,从而得到每帧的平均位移M,根据人眼主观感知的结果,设置平均位移的阈值S,若M>S,说明视频存在相机运动,反之,若M

步骤S14:根据得到的前景目标图F,对其进行膨胀腐蚀操作,消除图像中的噪点,得到处理后的前景目标图F',通过计算得到前景目标与视频帧的面积比V,根据面积比V值判断视频中是否包含前景目标;

步骤S15:根据步骤S13‑S14,若视频同时存在前景目标及相机运动,则将该类视频归为显著区域运动视频;若视频不存在相机运动,存在前景目标,则将该视频归为显著区域静止视频;若视频存在相机运动,不存在前景目标,则将该视频归为无显著区域运动视频;若视频不存在相机运动,不存在前景目标,则将该视频归为无显著区域静止视频。

3.如权利要求1所述的基于空时显著性分类和融合的视频重定向质量评价方法,其特征在于,所述步骤S3中重定向视频整体质量ST由空间质量SD和时间质量TD组成,评估如下:ST=(1‑α)·(SD)+α·(TD) (3)

其中,Dframe为原始视频相邻帧灰度图的像素差值和,n为视频帧的数目,Wr、Wo分别表示重定向视频的宽和原始视频的宽,Hr、Ho分别表示重定向视频的宽和原始视频的高。

4.如权利要求3所述的基于空时显著性分类和融合的视频重定向质量评价方法,其特征在于,对于显著区域运动视频:空间失真的评估如下:

SD=η·(PGD)+(1‑η)·(EGS)(6)

其中,WR是重定向视频与原始视频的宽度比,HR是重定向视频与原始视频的高度比,SR是显著区域与原始视频帧的面积比;

时间失真的评估如下:

其中,μ是归一化在[0,1]区间内, 为μ的均值,Np是原始视频帧的像素个数,In是原始视频的第n帧的灰度图。

5.如权利要求3所述的基于空时显著性分类和融合的视频重定向质量评价方法,其特征在于,对于无显著区域运动视频:空间失真的评估如下:

SD=(1‑γ)·(PGD)+γ·(EGS) (10)

其中,WR是重定向视频与原始视频的宽度比,F是原始视频的总帧数,f是当前帧数,Gf是原始视频第f帧的边缘度图的均值;

时间失真的评估如下:

TD=TCD。

6.如权利要求3所述的基于空时显著性分类和融合的视频重定向质量评价方法,其特征在于,对于显著区域静止视频:空间失真的评估如下:

SD=λ·(PGD)+(1‑λ)·(EGS)(13)

时间失真的评估如下:

其中,μ是归一化在[0,1]区间内, 为μ的均值,Np是原始视频帧的像素个数,In是原始视频的第n帧的灰度图;WR是重定向视频与原始视频的宽度比,SR是显著区域与原始视频帧的面积比。

7.如权利要求3所述的基于空时显著性分类和融合的视频重定向质量评价方法,其特征在于,对于无显著区域静止视频:空间失真的评估如下:

SD=(1‑φ)·(PGD)+φ·(EGS)(17)

时间失真的评估如下:

TD=TCD;

其中,WR是重定向视频与原始视频的宽度比,HR是重定向视频与原始视频的高度比,F是原始视频的总帧数,f是当前帧数,Gf是原始视频第f帧的边缘度图的均值。

8.如权利要求1所述的基于空时显著性分类和融合的视频重定向质量评价方法,其特‑6征在于,K=10 。