欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019110657489
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于块编码特性的3D视频错误隐藏方法,其特征在于具体方法包括:(1).恢复背景区域丢失块:

通过将前向帧和后向帧中对应丢失块的同位块的像素的平均差值 和像素差值的平均方差 对丢失块进行分类处理,具体判断准则为:下标D表示丢失块的深度,D=0,1,2,分别对应尺寸为64×64、32×32、16×16的处理单元;ThD是随D变化的阈值,分别为15、8、4;λ是固定阈值12; 和 定义如下:其中,(x,y)是丢失块的左上角像素坐标,(i,j)是相对于左上角像素位置的偏移,p(x+i,y+j)是像素亮度值,p(·,·,n‑k)表示前向帧的像素亮度值,p(·,·,n+k)表示后向帧的像素亮度值,SD是深度D对应的处理单元大小;

首先从最大尺寸64×64的丢失块开始处理:如果该丢失块满足背景块的条件,则将前后向帧中同位块的像素值进行加权平均得到丢失块中的像素值;若不满足,将丢失块划分为32×32的子丢失块,重复之前的操作;当处理到16×16的子块时,背景块恢复操作停止,剩下未修复的丢失子块尺寸均为16×16,标记为前景块;

(2).恢复前景区域丢失块,具体如下:(2‑1).前景区域丢失块的编码预测方式估计:获取丢失块的周围有效块的编码预测信息,根据帧内编码块数量NIntra、帧间编码块数量NInter、视间编码块数量NInter‑view,周围有效块的编码预测方式分为三种情况,分别处理:(i)NIntra>0且NInter=0且NInter‑view=0,表示周围有效块的编码预测方式均为帧内编码,判定当前丢失块的编码预测方式为帧内编码;

(ii))NInter>NInter‑view,表示周围有效块的帧间编码块数量多于视间编码块,判定当前丢失块的编码预测方式为帧间编码;

(iii)NInter≤NInter‑view,NInter>0,表示周围有效块的视间编码块的数量多于或等于帧间编码块,判定当前丢失块的编码预测方式为视间编码;

(2‑2).恢复帧内编码块:

首先构建两个有效块集合L0和L1,L0中存放参考列表List0中视频帧的邻域块,L1存放参考列表List1中视频帧的邻域块;

构建候选预测补偿块,将提取的邻域块的参考帧和预测矢量赋予当前丢失块,丢失块通过参考帧和预测矢量获得对应的预测补偿块;L0和L1更新为候选预测补偿块的集合,其中L0加入零运动矢量和全局视差矢量GDV的预测补偿块;

最佳候选预测补偿块具体如下:

a.当L1为空集合,根据加权边界匹配准则选取L0中的最佳候选预测补偿块中的像素填补当前丢失块;加权边界匹配准则定义为:0

其中,(x0,y0)是丢失块的像素坐标,fn和f′n分别代表当前帧和参考帧,V是L0中的预测候选补偿块的矢量,ωΔ,Δ=u,d,l,r,是丢失块上、下、左、右边界的权重,ωΔ=0,边界相邻块为丢失块;ωΔ=0.5,边界相邻块为算法恢复块;ωΔ=1,边界相邻块为正确解码块;Sd0

是丢失块边界的像素的行数或列数;SAD(V)是丢失块的外边界像素与参考块的外边界像

0 0

素的绝对差值之和;L0中的最佳候选预测补偿块是V使得SAD(V)最小的补偿块b.当L1为非空集合时,L0或L1中均有最佳候选预测补偿块 或 且有对应

0 1 0 1

的SAD(V)和SAD(V);将D=|SAD(V)‑SAD(V)|与设定的阈值T1进行比较:如果D≤T1,此时丢失块MB恢复如下:

0 1

如果D>T1,丢失块MB由对应min{SAD0(V),SAD1(V)}中的预测补偿块来恢复;

(2‑3).恢复帧间编码块:

假设物体在视频序列中是线性运动的,则丢失块MB采用线性双向预测的运动补偿,即前向帧Ref0和后向帧Ref1中总能找到与丢失块相似的预测补偿块;

为丢失块构建候选运动矢量集MVcol,通过最小化前向预测补偿块B0和后向预测补偿块B1的平均像素差值Δdiff来选择最优运动矢量;

如果Δdiff>T2,则表明前面的假设不成立,T2为设定的阈值,此时在候选运动矢量的基础上执行范围内搜索最佳运动矢量来单向预测恢复丢失块的操作:Step1.B0相对于MB的位移矢量 计算B0内所有像素亮度值的和SOL0;

Step2.连接B0和MB的中心点并延长到Ref1上得到B1,计算B1内所有像素亮度值的和SOL1,此时B1相对于MB的位移矢量Step3.如果B0与B1之间的平均绝对差值 小于T2,则由B0和B1加0

权平均恢复MB;当ΔDs≥T2时,以当前运动矢量MV为基础,在±16范围内搜索运动矢量,跳转到Step1;

Step4.当ΔDs≥T2一直成立时,改变双向预测补偿的策略,执行单向预测搜索恢复,即以MVcol为基础,在±16范围内搜索运动矢量使得SAD(V)最小的预测补偿块来恢复MB;

(2‑4).恢复视间编码块:

选取熵、能量、对比度三个统计特征值来分析纹理,且计算四个方向上的特征值后取平均值,构成特征向量G:G=(Fent,Fene,Fcon);Fent、Fene、Fcon分别为熵值、能量值和对比度值,具体表示如下:

其中,K表示灰度共生矩阵的行数或列数;(a,b)表示灰度共生矩阵的坐标;d表示方向上的距离;θ表示方向0°,45°,90°,135°;g(a,b)表示对应(a,b)位置上的灰度共生矩阵值;

当分别提取丢失块和候选块的边界的特征向量GR、GQ后,利用欧氏距离计算二者的相似度Ts=|GR‑GQ|,最终的灰度共生加权边界匹配准则为:GSAD表示融合灰度共生矩阵后,即丢失块与参考块匹配度,N是丢失块边界的像素的行数或列数,α为常数0.7。

2.如权利要求1所述的一种基于块编码特性的3D视频错误隐藏方法,其特征在于:所述的设定的阈值T1=2~3。

3.如权利要求1所述的一种基于块编码特性的3D视频错误隐藏方法,其特征在于:所述的设定的阈值T2=4~6。

4.如权利要求1所述的一种基于块编码特性的3D视频错误隐藏方法,其特征在于:所述的灰度共生矩阵的行数或列数K=8。

5.如权利要求1所述的一种基于块编码特性的3D视频错误隐藏方法,其特征在于:所述的方向上的距离d=1。