欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2012105047645
申请人: 宁波大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2024-02-26
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种自由视点视频整帧丢失错误隐藏方法,其特征在于包括以下步骤:①获取S个参考视点的N个时刻的N×S幅颜色空间为YUV的彩色图像,然后在编码端根据设定的编码预测结构分别对S个参考视点的N个时刻的N×S幅颜色空间为YUV的彩色图像进行编码,再将编码后的N×S幅颜色空间为YUV的彩色图像经网络传输给解码端;

在解码端对编码后的N×S幅颜色空间为YUV的彩色图像进行解码,获得解码后的S个参考视点的N个时刻的N×S幅颜色空间为YUV的彩色图像;其中,YUV颜色空间的三个颜色分量的第1个颜色分量为亮度分量并记为Y、第2个颜色分量为第一色度分量并记为U及第3个颜色分量为第二色度分量并记为V;

所述的设定的编码预测结构为HBP编码预测结构;

②假设解码后的第s个参考视点的第t时刻的彩色图像为丢失帧,记为 并假设丢失帧 的所有参考彩色图像已正确解码,丢失帧 的参考彩色图像包括时域上的后向参考彩色图像 和前向参考彩色图像 及视点域上的左向参考彩色图像 和右向参考彩色图像 其中,2≤s≤S,s的初始值为2,2≤t≤N,t的初始值为2,i=1,2,3分别表示YUV颜色空间的第1个颜色分量即亮度分量Y、第2个颜色分量即第一色度分量U及第3个颜色分量即第二色度分量V,(x,y)表示彩色图像中的像素点的坐标位置, 表示丢失帧 中坐标位置为(x,y)的像素点的第i个颜色分量的值, 表示第s个参考视点的第t-k时刻的彩色图像 中坐标位置为(x,y)的像素点的第i个颜色分量的值,表示第s个参考视点的第t+k时刻的彩色图像 中坐标位置为(x,y)的像素点的第i个颜色分量的值, 表示第s-1个参考视点的第t时刻的彩色图像中坐标位置为(x,y)的像素点的第i个颜色分量的值, 表示第s+1个参考视点的第t时刻的彩色图像 中坐标位置为(x,y)的像素点的第i个颜色分量的值,

1≤k≤L,L表示设定的编码预测结构中一个图像组的长度;

③将丢失帧 分割成 个互不重叠的尺寸大小为m×m的图像块,将丢失帧 中的第j个图像块记为Bj,其中,W表示彩色图像的宽度,H表示彩色图像的高度,m的取值由彩色图像的尺寸大小决定,④根据丢失帧 的后向参考彩色图像 和前向参考彩色图像获取丢失帧 中的每个图像块的运动矢量估计值,将丢失帧中的第j个图像块Bj的运动矢量估计值记为

⑤根据丢失帧 的左向参考彩色图像 和右向参考彩色图像获取丢失帧 中的每个图像块的视差矢量估计值,将丢失帧中的第j个图像块Bj的视差矢量估计值记为

⑥利用丢失帧 中的每个图像块的运动矢量估计值,在丢失帧 的后向参考彩色图像 和前向参考彩色图像 中进行双向运动补偿得到丢失帧 中的每个图像块的时域恢复块,将丢失帧 中的第j个图像块Bj的时域恢复块记为⑦利用丢失帧 中的每个图像块的视差矢量估计值,在丢失帧 的左向参考彩色图像 和右向参考彩色图像 中进行双向视差补偿得到丢失帧 中的每个图像块的视点域恢复块,将丢失帧 中的第j个图像块Bj的视点域恢复块记为⑧根据丢失帧 中的每个图像块的时域恢复块中的每个像素点的像素值与对应的视点域恢复块中的每个像素点的像素值,计算丢失帧中的每个图像块中的每个像素点的像素值,将丢失帧 中的第j个图像块Bj中的所有像素点的像素值的集合记为最后得到丢

失帧 的恢复帧,记为 其中, 表示丢失帧 中的第j个图像块Bj中坐标位置为(u,v)的像素点的像素值, 表示丢失帧 中的第j个图像块Bj的时域恢复块 中坐标位置为(u,v)的像素点的像素值,p'Sj(u,v)表示丢失帧 中的第j个图像块Bj的视点域恢复块 中坐标位置为(u,v)的像素点的像素值,1≤u≤m,1≤v≤m, 表示丢失帧 的恢复帧 中坐标位置为(x,y)的像素点的第i个颜色分量的值。

2.根据权利要求1所述的一种自由视点视频整帧丢失错误隐藏方法,其特征在于所述的步骤②中丢失帧 的后向参考彩色图像 和前向参考彩色图像的确定过程为:

②-1、根据设定的编码预测结构,将设定的编码预测结构中一个长度为L的图像组分成具有M层的分层预测结构,其中,L=2M-1;

②-2、根据丢失帧 所在的时刻t,确定丢失帧 所在的层次,假设丢失帧 所在的层次为第g层,则有:如果t%8为0,则认为丢失帧 所在的层次g=1,如果t%4为0且t%8不为0,则认为丢失帧 所在的层次g=

2,如果t%2为0且t%4和t%8均不为0,则认为丢失帧 所在的层次g=3,如果t%2不为0,则认为丢失帧 所在的层次g=4,其中,1≤g≤M,在此“%”表示求余运算符号;

②-3、当g=2或g=3或g=4时,令k=2M-g,将第s个参考视点的第t-k时刻的彩色图像 作为时域上丢失帧 的后向参考彩色图像,将第s个参考视点的第t+k时刻的彩色图像 作为时域上丢失帧 的前向参考彩色图像,其中,k的初始值为1。

3.根据权利要求1或2所述的一种自由视点视频整帧丢失错误隐藏方法,其特征在于所述的步骤③中m的值为16或32或64。

4.根据权利要求3所述的一种自由视点视频整帧丢失错误隐藏方法,其特征在于所述的步骤④中丢失帧 中的第j个图像块Bj的运动矢量估计值 的获取过程为:④-1、将丢失帧 的第j个图像块Bj的左上角像素点的坐标位置记为将丢失帧 的后向参考彩色图像 中与丢失帧

中的第j个图像块Bj的坐标位置对应的且尺寸大小为m×m的区域的左上角像素点的坐标位置记为 将丢失帧 的前向参考彩色图像 中与丢失帧中的第j个图像块Bj的坐标位置对应的且尺寸大小为m×m的区域的左上角像素点的坐标位置记为④-2、将丢失帧 的第j个图像块Bj从第t时刻到第t+k时刻的运动位移表示为 将丢失帧 中的第j个图像块Bj从第t时刻到第t-k时刻的运动位移表示为 其中, 表示在横坐标方向上的位移量, 表示在纵坐标方向上的位移量, xmax表示在横坐标方向上的最大位移量,ymax表示在纵坐标方向上的最大位移量;然后根据获取丢失帧 的前向参考彩色图像 中的搜索范围并记作 Ω T1,同 样

根据 获取丢失帧 的后向参考彩色图像 中的搜索范 围 并 记作 Ω T2;再

计算ΩT1和ΩT2内的所有尺寸大小为m×m的两个区域之间所有像素点的像素值的绝对误差和值,以集合形式记为其 中,

表示在ΩT1内由位移量 所指向的

尺寸大小为m×m的区域中的所有像素点的像素值与在ΩT2内由位移量 所指向的尺寸大小为m×m的区域中的所有像素点的像素值的绝对误差和值,表示 中坐标位置为 的像素点的第i个颜色分量的值,表示 中坐标位置为 的像素点的第i个颜色

分量的值;

④-3、在 中,将使绝对误差和值 最小的

作为丢失帧 中的第j个图像块Bj的运动矢量估计值,记为

5.根据权利要求4所述的一种自由视点视频整帧丢失错误隐藏方法,其特征在于所述的步骤⑤中丢失帧 中的第j个图像块Bj的视差矢量估计值 的获取过程为:⑤-1、将丢失帧 的第j个图像块Bj的左上角像素点的坐标位置记为将丢失帧 的左向参考彩色图像 中与丢失帧

中的第j个图像块Bj的坐标位置对应的且尺寸大小为m×m的区域的左上角像素点的坐标位置记为 将丢失帧 的右向参考彩色图像 中与丢失帧中的第j个图像块Bj的坐标位置对应的且尺寸大小为m×m的区域的左上角像素点的坐标位置记为⑤-2、将丢失帧 中的第j个图像块Bj在第s个参考视点与第s+1个参考视点之间的视差表示为 将丢失帧 中的第j个图像块Bj在第s个参考视点与第s-1个参考视点之间的视差表示为 其中, 表示在横坐标方向上的位移量, 表示在纵坐标方向上的位移量,xmax表示在横坐标方向上的最大位移量,ymax表示在纵坐标方向上的最大位移量;然后根据 获取丢失帧 的右向参考彩色图像 中的搜索范围 并记作 Ω S1,同 样

根据 获取丢失帧 的左向参考彩色图像 中的搜索范围 并记作Ω S2;再

计算ΩS1和ΩS2内的所有尺寸大小为m×m的两个区域之间所有像素点的像素值的绝对误差和值,以集合形式记为其 中,

表示在ΩS1内由位移量 所指向

的尺寸大小为m×m的区域中的所有像素点的像素值与在ΩS2内由位移量 所指向的尺寸大小为m×m的区域中的所有像素点的像素值的绝对误差和值,表示 中坐标位置为 的像素点的第i个颜色分量的值,表示 中坐标位置为 的像素点的第i个颜色分

量的值;

⑤-3、在 中,将使绝对误差和值 最小的

作为丢失帧 中的第j个图像块Bj的视差矢量估计值,记为

6.根据权利要求5所述的一种自由视点视频整帧丢失错误隐藏方法,其特征在于所述的步骤⑥中丢失帧 中的第j个图像块Bj的时域恢复块 的获取过程为:⑥-1、根据丢失帧 中的第j个图像块Bj的运动矢量估计值 在丢失帧 的后向参考彩色图像 中找出左上角像素点的坐标位置为且尺寸大小为m×m的区域,将该区域作为后向最佳匹配区域,并记为将后向最佳匹配区域 中的所有像素点的像素值的集合记为其中, 表示后向最佳匹配区域 中坐标位置为(u,v)的像素点的像素值,

1≤u≤m,1≤v≤m;

⑥-2、根据丢失帧 中的第j个图像块Bj的运动矢量估计值 在丢失帧 的前向参考彩色图像 中找出左上角像素点的坐标位置为且尺寸大小为m×m的区域,将该区域作为前向最佳匹配区域,并记为将前向最佳匹配区域 中的所有像素点的像素值的集合记为其中, 表示前向最佳匹配区域 中坐标位置为(u,v)的像素点的像素值,

1≤u≤m,1≤v≤m;

⑥-3、根据 获取丢失帧 中的第

j个图像块Bj的时域恢复块,记为 将 中的所有像素点的像素值的集合,记为其中,表示丢失帧 中的第j个图像块Bj的时域恢复块 中坐标位置为(u,v)的像素点的像素值,1≤u≤m,1≤v≤m,α表示加权系数。

7.根据权利要求6所述的一种自由视点视频整帧丢失错误隐藏方法,其特征在于所述的加权系数α取值为0.5。

8.根据权利要求6所述的一种自由视点视频整帧丢失错误隐藏方法,其特征在于所述的步骤⑦中丢失帧 中的第j个图像块Bj的视点域恢复块 的获取过程为:⑦-1、根据丢失帧 中的第j个图像块Bj的视差矢量估计值 在丢失帧 的左向参考彩色图像 中找出左上角像素点的坐标位置为且尺寸大小为m×m的区域,将该区域作为左向最佳匹配区域,并记为将左向最佳匹配区域 中的所有像素点的像素值的集合记为其中, 表示左向最佳匹配区域 中坐标位置为(u,v)的像素点的像素值,

1≤u≤m,1≤v≤m;

⑦-2、根据丢失帧 中的第j个图像块Bj的视差矢量估计值 在丢失帧 的右向参考彩色图像 中找出左上角像素点的坐标位置为且尺寸大小为m×m的区域,将该区域作为右向最佳匹配区域,并记为将右向最佳匹配区域 中的所有像素点的像素值的集合记为其中, 表示左向最佳匹配区域 中坐标位置为(u,v)的像素点的像素值,

1≤u≤m,1≤v≤m;

⑦-3、根据 获取丢失帧 中的

第j个图像块Bj的视点域恢复块,记为 将 中的所有像素点的像素值的集合,记为其中, 表示丢失帧 中的第j个图像块Bj的视点域恢复块 中坐标位置为(u,v)的像素点的像素值,1≤u≤m,1≤v≤m,α'表示加权系数。

9.根据权利要求8所述的一种自由视点视频整帧丢失错误隐藏方法,其特征在于所述的加权系数α'取值为0.5。