欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020101757743
申请人: 宁波大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2023-08-24
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于全景显著性的立体全景视频快速编码方法,其特征在于包括以下步骤:

步骤1:将ERP投影格式的立体全景视频中当前待处理的除第1帧以外的右视点视频帧定义为当前帧;其中,当前帧的宽度为W且高度为H;

步骤2:对当前帧进行显著性计算,得到当前帧的3D-Sobel显著图;

步骤3:将当前帧中当前待处理的最大编码单元定义为当前最大编码单元;其中,当前最大编码单元的尺寸为64×64;

步骤4:判断当前最大编码单元是否为当前帧中最上侧或最左侧的最大编码单元,如果是,则采用3D-HEVC视频编码器对当前最大编码单元进行编码,再执行步骤11;否则,执行步骤5;

步骤5:计算当前帧的3D-Sobel显著图中与当前最大编码单元对应的尺寸为64×64的区域的显著性强度,记为SILCU;并计算当前帧的3D-Sobel显著图中与当前最大编码单元对应的尺寸为64×64的区域的全景显著性阈值,记为THS;然后判断SILCU≥THS是否满足,如果满足,则判定当前最大编码单元为显著块,将当前最大编码单元重新定义为当前编码单元,然后执行步骤9;如果不满足,则判定当前最大编码单元为非显著块,然后执行步骤6;

步骤6:令DLCU(View)表示当前帧对应的左视点视频帧中与当前最大编码单元对应的已编码最大编码单元的最优递归深度均值,令DLCU(Col)表示当前帧的前一帧右视点视频帧中与当前最大编码单元对应的已编码最大编码单元的最优递归深度均值,令DLCU(LT)表示当前最大编码单元的已编码左上侧最大编码单元的最优递归深度均值,令DLCU(L)表示当前最大编码单元的已编码左侧最大编码单元的最优递归深度均值,令DLCU(T)表示当前最大编码单元的已编码上侧最大编码单元的最优递归深度均值;然后预测当前最大编码单元的递归深度区间,记为[Dmin,Dmax],其中,Dmin表示当前最大

编码单元的最小划分深度,Dmax表示当前最大编码单元的最大划分深度,min()为取最小值函数,max()为取最大值函数,符号 为向下取整符号,符号 为向上取整符号;

步骤7:跳转到以当前最大编码单元为根节点的四叉树结构中划分深度为Dmin的CU层,采用3D-HEVC视频编码器对该CU层中的所有编码单元以深度优先遍历的方式进行编码,针对该CU层中的任一个编码单元,将其作为当前编码单元,在当前编码单元编码后先判断当前编码单元的最大划分深度是否已达到Dmax或当前编码单元的最大划分深度是否已达到3,如果已达到,则继续以深度优先遍历的方式对当前编码单元的未编码的兄弟节点进行编码,直至当前编码单元的所有兄弟节点编码完成,再执行步骤11;如果未达到,则执行步骤

8;

步骤8:计算当前帧的3D-Sobel显著图中与当前编码单元对应的区域的显著性强度,记为SICU,然后比较SICU与SILCU,如果SICU>SILCU,则计算当前编码单元的递归深度区间,记为[Dmin,D′max], 然后令Dmax=D′max,再返回步骤7继续执行;如果SICU≤SILCU,则计算当前编码单元的递归深度区间,记为[Dmin,D″max], 然后令Dmax=D″max,再返回步骤7继续执行;其中,DCU(View)表示当前帧对应的左视点视频帧中与当前编码单元对应的已编码的编码单元的最优递归深度均值,DCU(Col)表示当前帧的前一帧右视点视频帧中与当前编码单元对应的已编码的编码单元的最优递归深度均值,DCU(LT)表示当前编码单元的已编码左上侧编码单元的最优递归深度均值,DCU(L)表示当前编码单元的已编码左侧编码单元的最优递归深度均值,DCU(T)表示当前编码单元的已编码上侧编码单元的最优递归深度均值;

步骤9:利用BJND模型计算当前编码单元的感知失真均方根误差,记为MSEBjnd;并计算当前编码单元的统计均方根误差,记为MSES, 再计算得到基于全景感知失真的编码单元划分阈值,记为THsplit,THsplit=η1MSES+η2MSEBjnd;其中,e表示自然基数,k为斜率,取值为-2.3334,Qstep表示当前编码单元的量化步长,QP表示当前编码单元的量化参数, MSECol表示当前帧的前一帧中与当前编码单元对应的已编码的编码单元的均方根误差, 表示当前帧的前一帧中与当前编码单元对应的已编码的编码单元的量化步长,QPCol表示当前帧的前一帧中与当前编码单元对应的已编码的编码单元的量化参数,b表示截距,取值为6.3751,N×N表示当前编码单元的尺寸,N的值为64或32或16或8,η1和η2均为调节因子,η1+η2=1;

步骤10:计算当前编码单元的均方根误差,记为MSECur;然后比较MSECur与THsplit的大小,若MSECur≤THsplit,则认为当前编码单元已达到最优划分深度,不需要再进一步划分,采用

3D-HEVC视频编码器对当前编码单元进行编码,再执行步骤11;若MSECur>THsplit,则跳转到以当前最大编码单元为根节点的四叉树结构中划分深度为Dmin的CU层,采用3D-HEVC视频编码器对该CU层中的所有编码单元以深度优先遍历的方式进行编码,针对该CU层中的任一个编码单元,将其作为当前编码单元,然后返回步骤9继续执行,直至当前编码单元的所有兄弟节点编码完成,再执行步骤11;

步骤11:将当前帧中下一个待处理的最大编码单元作为当前最大编码单元,然后返回步骤4继续执行,直至当前帧中的所有最大编码单元均处理完毕,之后执行步骤12;

步骤12:将ERP投影格式的立体全景视频中下一帧待处理的右视点视频帧作为当前帧,然后返回步骤2继续执行,直至ERP投影格式的立体全景视频中的所有视频帧均处理完毕。

2.根据权利要求1所述的一种基于全景显著性的立体全景视频快速编码方法,其特征在于所述的步骤2中,采用3D-Sobel模型对当前帧进行显著性计算。

3.根据权利要求1或2所述的一种基于全景显著性的立体全景视频快速编码方法,其特征在于所述的步骤5中计算SILCU的过程与所述的步骤8中计算SICU的过程相同,具体过程为:将待计算显著性强度的区域定义为待处理区域,将待处理区域的显著性强度记为SI,其中, 表示待处理区域的尺寸, 的值为64或32或16或

8, 表示待处理区域的左上角像素点在当前帧的3D-Sobel显著图中的坐标位置,

表示当前帧的3D-Sobel显著图中坐标位置为 的像素点的像素值,

4.根据权利要求3所述的一种基于全景显著性的立体全景视频快速编码方法,其特征在于所述的步骤5中,THS的计算过程为:步骤5_1:计算当前帧中的每个像素点的ERP维度权重,将当前帧中坐标位置为(x,y)的像素点的ERP维度权重记为wERP(x,y), 其中,0≤x≤W-

1,0≤y≤H-1;

步骤5_2:计算当前最大编码单元的ERP维度权重,记为wLCU,

其中,N'×N'表示当前最大编码单元的尺寸,即N'的

值为64,(i',j')表示当前最大编码单元的左上角像素点在当前帧中的坐标位置,wERP(m',n')表示当前帧中坐标位置为(m',n')的像素点的ERP维度权重,0≤m'≤W-1,0≤n'≤H-1;

步骤5_3:计算THS,THS=THE+β×(1-wLCU);其中,THE表示当前帧的一半高度处的显著性阈值,β表示wLCU的缩放因子。

5.根据权利要求4所述的一种基于全景显著性的立体全景视频快速编码方法,其特征在于所述的步骤9中,MSEBjnd的计算过程为: 其中,N×N表示当前编码单元的尺寸,N的值为64或32或16或8,(i,j)表示当前编码单元的左上角像素点在当前帧中的坐标位置,BJND(m,n)表示当前帧的双目恰可察觉失真图中坐标位置为(m,n)的像素点的像素值,0≤m≤W-1,0≤n≤H-1。

6.根据权利要求5所述的一种基于全景显著性的立体全景视频快速编码方法,其特征在于所述的步骤9中,MSECol的计算过程为:其中,N×N表示当前编码单元的尺寸,N的值为64或32或16或8,(i,j)表示当前编码单元的左上角像素点在当前帧中的坐标位置,I(m,n)表示当前帧的前一帧中坐标位置为(m,n)的像素点的像素值,I′(m,n)表示当前帧的前一帧的编码重建图像中坐标位置为(m,n)的像素点的像素值,0≤m≤W-1,0≤n≤H-1。

7.根据权利要求6所述的一种基于全景显著性的立体全景视频快速编码方法,其特征在于所述的步骤10中,MSECur的计算过程为:其中,N×N表示当前编码单元的尺寸,N的值为64或32或16或8,(i,j)表示当前编码单元的左上角像素点在当前帧中的坐标位置, 表示当前帧中坐标位置为(m,n)的像素点的像素值, 表示当前帧的编码预测图像中坐标位置为(m,n)的像素点的像素值,0≤m≤W-

1,0≤n≤H-1。