1.一种融合用户兴趣和行为特征的低复杂度视点预测方法,其特征在于,具体步骤如下:
S1获取待进行视点预测视频的视频帧显著图,所述视频帧显著性图包括I帧显著性图和P帧显著性图;
S2将待进行视点预测的视频划分为若干个视频片段,利用视频帧显著图对视频片段中的π个最为显著对象进行序号标记;
S3获取已观看过该视频的用户在所述π个最为显著对象上的视点停留时间,根据视点停留时间对用户进行分类,根据同一类用户在所述视频的π个最为显著对象上的视点停留时间获取该类用户的兴趣模型,将用户兴趣模型与获取的视频帧显著性图结合得到该视频各个帧的兴趣分布图;
S4利用用户视点的随机运动和用户历史观看视频的视点反馈信息,构建用户行为模型,根据用户行为模型,获取反映用户视点出现概率的用户行为分布图;
S5将同一类别用户的兴趣分布图与用户行为分布图结合得到视点预测模型,利用视点预测模型进行用户视点位置预测。
2.根据权利要求1所述的一种融合用户兴趣和行为特征的低复杂度视点预测方法,其特征在于,步骤S1中,I帧显著性图生成的具体步骤为:S1.1获取帧内预测编码模式和残差DCT系数,得到图像块不经过预测直接DCT变换后的DC系数,所述DC系数用于表征所述图像块亮度、颜色特征;
S1.2.获取帧内预测编码模式对应的预测方向,将所述预测方向作为帧内预测编码图像块的纹理方向,获取与帧内预测编码图像块纹理方向相似的相邻块的纹理强度,所述纹理强度作为所述帧内预测编码图像块的纹理强度;
S1.3获取压缩域恢复的I_PCM编码图像块原始像素值,利用所述像素值计算所述I_PCM编码图像块的DCT系数,所述DCT系数中的DC系数用于表述所述I_PCM编码图像块的亮度、颜色,所述DCT系数中的AC系数用于表达所述I_PCM编码图像块纹理方向与强度特征;
S1.4根据I帧帧间预测编码图像块的前一和后一P帧帧间预测编码图像块的编码模式和运动矢量以及所述待进行视点预测视频内容的时间连贯性构建I帧图像的运动矢量集;
S1.5对获取的I帧图像的亮度、颜色、纹理强度、纹理方向和运动特征分别进行显著性检测,将显著性检测结果自适应融合成I帧显著性图;
P帧显著性图生成的具体步骤为:S1.6获取压缩域的帧间预测编码图像块的运动矢量,对所述运动矢量进行整理和填充,为每个P帧建立一个完整的运动矢量集;
S1.7利用P帧图像块在帧间预测编码过程中与I帧图像块的时域参考关系,将I帧中图像块的显著性特征按照运动矢量的指示进行平移得到P帧显著性图。
3.根据权利要求2所述的一种融合用户兴趣和行为特征的低复杂度视点预测方法,其特征在于,步骤S1.1中,对于待进行视点预测视频中的N*N的图像块i,采用帧内预测编码,则所述图像块i的DCT变换系数 可由公式(1‑1)计算:式中, 表示图像块i所对应的帧内预测块的DCT系数; 表示图像块i所对应的帧内预测残差块的DCT系数;
其中帧内预测残差块的DCT系数 为待进行视点预测视频压缩域中直接提取的DCT系数;
DCT系数 可由公式(1‑2)表示:式中 表示图像块i在(x,y)处像素值 的帧内预测值;
若定义{si,q,q=0,1,…,Q‑1}为预测图像块所使用的已编码重构的相邻像素集合,则图像块i各个像素的帧内预测值 由公式(1‑3)计算得到:其中 为像素si,q的像素值, 表示像素si,q对应的预测权值;
定义 为预测图像块使用的已编码重构的相邻像素{si,q,q=0,1,…,Q‑1所在的图像块的DCT系数,并假设同一个4*4块的像素值相等,且等于整个4*4块中所有像素的平均值,那么预测块DCT系数中DC系数 可公式(1‑4)计算获得,即式中,wj为权值,具体取值由采用的预测模式决定;
将公式(1‑4)代入公式(1‑1),则可表征图像块i的亮度、颜色特征的DC系数 便可由公式(1‑5)计算得到,
4.根据权利要求3所述的一种融合用户兴趣和行为特征的低复杂度视点预测方法,其特征在于,步骤S1.1中,4*4分区的预测像素从位于其左上、上方、右上和左侧4个相邻块的像素si,0~si,12中选取,令 分别表示这4个相邻块的DCT系数,则 为:
1)当4*4块的预测模式为0时, 由位于其上方的相邻块的像素si,1~si,4预测得到,即因此,
2)当4*4块的预测模式为1时, 由位于其左侧的相邻块的像素si,9~si,12预测得到,即因此,
3)当4*4块的预测模式为2时, 由位于其上方和左侧的相邻块的像素si,1~si,4,si,9~si,12预测得到,即
其中round(α)表示对数值α进行四舍五入;
因此,
如果si,1~si,4不存在,则如果s9~s12不存在,则
4)当4*4块的预测模式为3时, 由位于其上方和右上方的相邻块的像素si,1~si,8预测得到,即
因此,
5)当4*4块的预测模式为4时, 由位于其左上方、上方和左侧的相邻块的像素si,0~si,4,si,9~si,12预测得到,即因此,
6)当4*4块的预测模式为5时, 由位于其左上方、上方和左侧的相邻块的像素si,0~si,4,si,9~si,10预测得到,即因此,
7)当4*4块的预测模式为6时, 由位于其左上方、上方和左侧的相邻块的像素si,0~si,3,si,9~si,12,预测得到,即因此,
8)当4*4块的预测模式为7时, 由位于其上方和右上方的相邻块的像素si,1~si,7,预测得到,即
因此,
9)当4*4块的预测模式为8时, 由位于其右上方的相邻块的像素si,9~si,12,预测得到,即
因此,
5.根据权利要求3所述的一种融合用户兴趣和行为特征的低复杂度视点预测方法,其特征在于,步骤S1.1中,基于16*16分区进行帧内预测时,对16*16分区中每个4*4块的DC系数 为:
1)当16*16分区m的预测模式为0时,其每个4*4块的 由位于分区m上方的相邻分区的像素sm,1~sm,16,预测得到,即其中mod(·,·)表示求余操作,mod(i,4)返回i除以4的余数;
因此,如果sm,1~sm,16所在的4个4*4相邻块的DC系数从左往右依次表示为
2)当16*16分区m的预测模式为1时,其每个4*4块i的 由位于分区m左侧的相邻分区的像素sm,17~sm,32,预测得到,即其中 表示下取整操作;
因此,如果sm,17~sm,32所在的4个4*4相邻块的DC系数从左往右依次表示为
3)当16*16分区m的预测模式为2时,其每个4*4块i的 由位于分区m上方和左侧的相邻分区的像素sm,1~sm,32,预测得到,即因此,
如果sm,1~sm,16不存在,则如果sM,17~sM,32不存在,则
4)当16*16分区m的预测模式为3时,其每个4*4块i的 由位于分区m上方和左侧的相邻分区的像素sm,1~sm,32,预测得到,即其中,
i=0,1,…,15;x,y=0,1,2,3Clip1(x)=min(255,max(0,x))因此,
其中
加权系数矩阵 为
6.根据权利要求2所述的一种融合用户兴趣和行为特征的低复杂度视点预测方法,其特征在于,步骤S1.2中,所述帧内预测编码图像块i的纹理强度为:其中,Ni×Ni表示图像块i的分区尺寸,Nj×Nj表示与图像块i的纹理方向最为接近且预测权值较高的相邻块j的分区尺寸,Tj表示与图像块i的纹理方向最为接近且预测权值较高的相邻块j的纹理强度。
7.根据权利要求2所述的一种融合用户兴趣和行为特征的低复杂度视点预测方法,其特征在于,步骤S1.3中,所述I_PCM编码图像块i′的纹理方向θi′和强度Ti′由DCT系数中的AC系数表述,具体如公式(1‑24)和(1‑25)所示:其中,Ni′×Ni′表示I_PCM编码图像块i′的分区尺寸; 表示利用压缩域恢复的I_PCM编码图像块i′原始像素值经4*4的DCT变换得到的DCT系数。
8.根据权利要求1所述的一种融合用户兴趣和行为特征的低复杂度视点预测方法,其特征在于,步骤S3中,所述用户的兴趣模型Intl为:其中,l为用户类别,处于每一类别的聚类中心的用户依次分别为m1,m2,...,mL, 为已观看过所述待检测视频的用户ml在视频片段p中π个最为显著对象上的视点停留时间;
式中, 表示该视频划分的片段集合; 表示视频片段p中显著对象o所在区域的位置集合, 表示用户ml在视频片段p的显著对象o上视点停留的时间;
根据所述兴趣分布图得到第f帧(x,y)处的用户兴趣度 为:式中, 表示第f帧(x,y)处的显著度。
9.根据权利要求1所述的一种融合用户兴趣和行为特征的低复杂度视点预测方法,其特征在于,步骤S4中,采用“当前”统计模型描述用户视点的随机运动,具体的运动预测方程如公式(1‑29)所示:
式中:
xf, yf, 分别表示用户在观看第f帧时视点在x轴方向上和y轴方向上的位置、速度、加速度; 分别表示用户视点在x轴方向上和y轴方向上平均加速度;α为机动加速度时间常数的倒数,即机动频率;
用户在观看第(f+δ)帧时,视点位于(x,y)处的概率可由公式(1‑30)计算:用户行为模型Actk为:
根据公式(1‑29)和公式(1‑30)计算得到的反映用户视点出现概率的用户行为分布图。
10.根据权利要求1所述的一种融合用户兴趣和行为特征的低复杂度视点预测方法,其特征在于,步骤S5中,所述用户视点位置预测由公式(1‑32)进行:式中, 分别表示用户兴趣分布图和用户行为分布图在第f+δ帧(x,y)处的取值,函数φ为用户兴趣分布图和用户行为分布图的融合函数。