欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2023118562036
申请人: 吴水勇
专利类型:发明专利
专利状态:授权未缴费
专利领域: 电通信技术
更新日期:2024-08-09
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.低照度直播视频实时转码增强亮构量化方法,其特征在于,将低照度视频增强与视频转码结合,在视频转码的过程中进行视频增强,并通过低照度视频转码亮构量化算法选择出的亮构量化因子保证视频质量尽量高的情况下,转码码率最低;

1)构建低照度视频转码框架:低照度视频经过H.264编码器一次量化后输入转码系统后,先进行解码,再进行视频增强,最后经过转码亮构量化,将增强转码后的码流输出;

2)解析量化因子、视频内容和照度系数对PSNR‑LY关系的作用:在低照度视频转码框架内,分析不同量化因子、不同视频内容和不同照度系数下PSNR‑LY曲线的变化规律,构建低照度视频转码的PSNR‑LY和R‑LY模型;

3)提出低照度视频转码亮构量化算法:通过对低照度视频量化模型的解析,获取低照度视频与正常照度视频编码量化模型中量化因子的映射规律,推导理想状态下低照度视频转码亮构量化因子的选择公式,再根据得到的PSNR‑LY模型,对低照度视频转码亮构量化算法公式进行修正,最终得到低照度视频转码亮构量化因子计算公式,根据输入转码系统码流中的照度系数、一次量化因子大小,来判断是否有必要进行图像增强和转码,若需要进行增强转码,该选择对应的转码亮构量化因子以得到最优的转码效果,保证选取的量化因子让亮构量化失真最小,转码后视频质量最高,在保证视频质量与最高质量在同一水平的前提下,尽可能的选择码率较低的转码亮构量化因子。

2.根据权利要求1所述低照度直播视频实时转码增强亮构量化方法,其特征在于,低照度视频实时转码框架:将低照度模糊不清的视频序列VIDEO.yuv通过H.264编码器进编码,得到低照度码流VIDEO_LY1 .264一次量化,再将VIDEO_LY1 .264码流输入转码系统,经过H.264解码器反量化,通过解析码流信息得到第一次编码时的量化因子LYl和解码后的视频序列VIDEO_LY1 .yuv,对VIDEO_LY1 .yuv进行视频增强得到增强后的视频序列VIDEO_LY1_ENHANCE.yuv,再将增强后的序列以LY2进行量化编码,得到VIDEO_LY1_ENHANCE_LY2.264,在初始序列VIDEO.yuv转码成最终输出码流VIDEO_LY1_ENHANCE_LY2.264的整个过程中,经历两次量化模型,编码为转码输入的序列VIDEO_LY1.264时,经历第一次编码量化,进入转码部分后,经历第二次编码量化;

在进行低照度转码亮构量化时,转码的PSNR值以初始正常照度视频序列为参考计算,在满足视频质量尽量好的前提下,转码亮构量化算法计算出的LY2要尽量降低转码后的码率,需要优化转码PSNR与LY2、转码码率R与LY2的关系,转码PSNR‑LY的关系由三方面因素决定:量化模型、视频内容和低照度程度。

3.根据权利要求1所述低照度直播视频实时转码增强亮构量化方法,其特征在于,量化因子作用转码PSNR‑LY关系:转码平台有两个过程对视频进行量化:码流经过编码器的一次量化、转码部分编码器的亮构量化;量化运算过程表示为:其中F(u,v)表示量化前初始视频序列的DCT系数,FQ(u,v)表示量化后视频的DCT系数,Q(u,v)表示量化加权矩阵,q为量化步长,其取值与量化因子LY关联,round[ ]为取整函数,采用峰值信噪比PSNR值作为视频质量的客观评价标准;

在低照度条件下,最佳LY2的取值大于LY1,且随着LY1的增大,最佳LY2的取值会随之增大,拐点逐渐后移。

4.根据权利要求1所述低照度直播视频实时转码增强亮构量化方法,其特征在于,低照度视频转码PSNR‑LY模型:对PSNR‑LY曲线定量分析,构建H.264低照度视频转码的PSNR‑LY模型,转码的PSNR值PSNR2(LY1,LY2)随OP的变化规律近似拟合为一条三次函数曲线,该曲线表示为:其中α、β、γ 、δ四个参数的取值与一次量化因子LY1、低照度程度il、视频内容这三个因素关联,有α<0、β>0、γ <0、δ>0,α的取值范围为[‑4×10‑4,‑1×10‑5],β的取值范围为[20,35],α、β、γ 、δ四个参数的取值受低照度程度i的影响大;

将PSNR‑LY曲线拟合成三次函数曲线后,PSNR2(LY1,LY2)的值必有一个极值点,即当LY2=LY2'时,三次函数曲线的导数PSNR2′(LY1,LY2)=0,PSNR2(LY1,LY2)取到极大值PSNR2max(LY1,LY2),即当LY2>LY2′时,三次函数曲线的导数PSNR2′(LY1,LY2)=0,PSNR2(LY1,LY2)的值缓慢上升或基本保持不变:即当LY2>LY2′时,三次函数曲线的导数PSNR2′(LY1,LY2)<0,PSNR2(LY1,LY2)的值迅速下降;

通过分析低照度程度大小、输入码流携带的一次量化因子信息和初始码流的视频内容,建立峰值信噪比PSNR2(LY1,LY2)与亮构量化因子LY2的曲线模型,预测最优转码亮构量化因子,使转码后的视频质量最佳,且转码码率较低。

5.根据权利要求1所述低照度直播视频实时转码增强亮构量化方法,其特征在于,低照度视频转码R‑LY模型:将率失真模型引入低照度视频转码中,建立R‑LY模型,量化因子LY决定视频图像信息被压缩的程度,LY越大,图像被压缩的程度越大,丢失的信息越多,同时消耗的码率越低,量化因子LY和码率rate呈反比例关系,R‑LY为反比例函数,选取不同低照度程度、一次量化因子、视频内容的码流进行计算;

低照度视频转码过程中的码率与亮构量化因子的关系模型用式3进行拟合:

其中R表示转码码率,X1和X2为系数,Qstep为量化步长,其取值与量化因子LY一一对应,转码码率R与亮构量化因子LY成反比关系,量化因子LY越大,转码码率R越小,为使转码过程消耗的码率尽量低,在选取最优亮构量化因子时,应优先考虑较大的量化因子,在A区间内符合条件的亮构量化因子进行选取时,直接选定该范围内最大的LY2,即满足转码质量和转码码率的要求。

6.根据权利要求1所述低照度直播视频实时转码增强亮构量化方法,其特征在于,低照度与正常照度视频量化因子映射关联模型:首先将输入的压缩码流进行解码,得到码流信息里的一次量化因子,在用一次量化因子对解码信息进行反量化重构出初始yuv序列,将yuv序列输入编码端后,编码端用较大的亮构量化因子进行亮构量化,再进行嫡编码,最后将编码后的码流输出;

m和n表示初始视频某帧图像中两个不同像素点的灰度值,Q1和Q2分别表示两次量化过程,Q1‑1和Q2‑1分别表示两次反量化过程;

对于输入值m,经过两次量化和两次反量化之后,其重建值为:

如果不经过一次量化,直接用Q2,进行量化和反量化,其重建值为:

对于输入的灰度值m,经过Q1、Q2两次量化与只经过Q2一次量化相比,其重构值相同,并没有引入误差;

对于灰度值n,经过两次量化与反量化后的重构值为:

只经过Q2一次量化与反量化后的重构值为:

对于输入的灰度值n,经过Q1、Q2两次量化与只经过Q2一次量化的重构值不同,带来误差△=N‑M,二次量化误差成为亮构量化误差,将图像灰度值进行DCT变换,然后将变换后的系数根据其幅度值大小标示在水平坐标轴上。

7.根据权利要求6所述低照度直播视频实时转码增强亮构量化方法,其特征在于,假设对初始低照度视频进行一次编码量化的量化因子为Q1,在转码过程中编码器对增强后的yuv序列进行编码的亮构量化因子为Q2,则一次编码量化造成的失真表示为式8:其中y表示DCT系数,p(y)表示DCT系数分布的概率密度函数,以量化因子Q2进行二次量化后,由两次量化造成的失真表示为式9:两次量化失真值的大小由DCT系数和两次量化的量化步长决定,基于正常照度视频与降低照度之后的视频之间DCT系数关系,得到相同失真条件下,正常照度视频与低照度视频之间量化因子的关系;建立8×8图像块,将该图像块进行DCT变换后得到8×8DCT系数块;

将每个像素点的灰度值依次全部乘以0.9、0.8…0.2、0.1,结果四舍五入取整,再将得到的9组8×8图像块分别进行DCT变换,得到9个DCT系数块,将这些DCT系数块的低频分量随灰度值所乘系数的变化关系绘制成曲线,DCT系数随像素点灰度值的变化呈线性变化,在对正常照度视频进行降低照度处理时,若采用的降低照度的加权系数为i1,在绝对理想的情况下,低照度视频经DCT变化之后,其DCT系数y'与正常照度视频DCT系数y的换算关系为y'=y*i1;

使低照度视频与正常照度视频经过一次量化后,失真度保持一致,采用一次量化步长有如下关系:

其中Q′step表示低照度视频的一次量化步长,Qstep表示正常照度视频的一次量化步长,i1表示两个视频之间照度变化的加权系数,基于量化系数与量化步长之间的映射关系,有Qstep=T(LY1),式10写为:得到对应的低照度视频量化步长后,再进行反查表,即可得到对应的低照度视频一次量化因子LY1’:

T和T‑1分别表示查表和反查表,加权系数i1反映低照度视频的低照度程度,通过式12得到理想状态下,不同低照度程度的视频与正常照度视频量化因子的映射关系;

引入一个修正系数σ,对式12进行修正,得到式13:

当亮构量化因子LY2=LY1时,转码视频质量和码率综合表现最佳,结合式13的映射关系,得到低照度视频转码亮构量化中最优亮构量化因子的选择式14:修正系数的计算:

其中LY2(理论)表示为式16:

计算出不同照度系数i1、不同一次量化因子LY1对应的修正系数σi1,确定不同LY1和i1下对应的修正系数σi1后,对输入转码系统的任意低照度视频码流进行解码,得到一次量化因子LY1和照度系数i1,计算出最佳亮构量化因子的理论值LY2(理论),再用对应的修正系数σi1进行修正,得到该低照度视频的最优亮构量化因子。

8.根据权利要求1所述低照度直播视频实时转码增强亮构量化方法,其特征在于,低照度视频转码亮构量化算法流程:在对任意输入视频进行转码时,设置下面三条判定规则:规则1:某视频经过一次编码后输入转码系统,被转码系统中的解码器解码后得到一次编码中采用的量化因子LY1和图像灰度值,将灰度值的动态范围与正常照度视频灰度值的动态范围(0‑255)进行对比,如果该视频图像灰度值的动态范围为正常照度视频的i1倍,且i1>0.6,则该视频照度良好,不需要进行图像增强和转码;

规则2:当i1<0.6时,符合低照度视频的判定标准,进入下道流程,判断低照度的程度,根据i1值的大小将低照度视频分为三档:轻微低照度(0.6≥i1>0.4)、中等低照度(0.4≥i1>0.2)、严重低照度(i≤0.2),对于轻微低照度视频,当LY1>34时,一次编码后的视频质量已较差,再经过视频增强和二次编码后,视频的主观质量很差,让观众无法接受,故没有进行图像增强和转码的必要,对于中等低照度视频,当LY1>30时,没必要进行图像增强和转码,对于严重低照度视频,当LY1>28时,没必要进行图像增强和转码;

规则3:除上述两种情况以外,其它情况的输入视频需要进行视频增强和转码亮构量化,根据视频的照度参数i1和一次量化的量化因子LY1得到对应的修正系数σi1,再选出最优的亮构量化因子LY2,该亮构量化因子能保证转码后的视频质量尽量好的前提下,使转码码率最低。

9.根据权利要求1所述低照度直播视频实时转码增强亮构量化方法,其特征在于,低照度视频转码亮构量化算法按照低照度程度将视频分为三个层次,对于不同的照度参数和不同的一次量化因子,修正参数的值也不同,对于轻微低照度视频,当LY1≤16时,修正参数σ为2;当16<LY1≤20时,修正参数σ为‑2;当20<LY1≤34时,修正参数σ为‑4;当LY1>34时,视频质量无法容忍,不需要进行视频增强和转码操作;对于中等低照度视频,当LY1≤16时,修正参数σ为0;当16<LY1≤20时,修正参数σ为‑2;当20<LY1≤24时,修正参数σ为‑4;当24<LY1≤30时,修正参数σ为‑6;当LY1>30时,视频质量无法容忍,不需要进行视频增强和转码操作;对于严重低照度视频,当LY1≤16时,修正参数σ为‑2;当16<LY1≤22时,修正参数σ为‑4;当22<LY1≤26时,修正参数σ为‑6;当26<LY1≤28时,修正参数σ为‑8;当LY1>28时,视频质量无法容忍,不需要进行视频增强和转码操作;

当某个低照度视频输入转码系统时,转码系统中解码器对视频进行解码,对解码后的信息进行分析得到一次量化因子LY1和照度参数i1的值,基于不同情况下修正系数σ,最终根据公式QP2=T‑1[T(QP1)/i1]+σ,得到该低照度视频最佳亮构量化因子的值。