欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2015105718978
申请人: 宁波大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于场景模式分类的立体图像视觉舒适度评价方法,其特征在于包括以下步骤:

①确定立体显示器所显示的自然场景的10种场景模式,第1种场景模式为立体图像的右视点视差灰度图像中的前景目标凸于屏幕且处于非舒适区、后景区域凹于屏幕且处于非舒适区;第2种场景模式为立体图像的右视点视差灰度图像中的前景目标凸于屏幕且处于非舒适区、后景区域凸于屏幕且处于非舒适区;第3种场景模式为立体图像的右视点视差灰度图像中的前景目标凹于屏幕且处于非舒适区、后景区域凹于屏幕且处于非舒适区;第4种场景模式为立体图像的右视点视差灰度图像中的前景目标凸于屏幕且处于非舒适区、后景区域凹于屏幕且处于舒适区;第5种场景模式为立体图像的右视点视差灰度图像中的前景目标凸于屏幕且处于非舒适区、后景区域凸于屏幕且处于舒适区;第6种场景模式为立体图像的右视点视差灰度图像中的前景目标凸于屏幕且处于舒适区、后景区域凹于屏幕且处于非舒适区;第7种场景模式为立体图像的右视点视差灰度图像中的前景目标凹于屏幕且处于舒适区、后景区域凹于屏幕且处于非舒适区;第8种场景模式为立体图像的右视点视差灰度图像中的前景目标凸于屏幕且处于舒适区、后景区域凹于屏幕且处于舒适区;第9种场景模式为立体图像的右视点视差灰度图像中的前景目标凸于屏幕且处于舒适区、后景区域凸于屏幕且处于舒适区;第10种场景模式为立体图像的右视点视差灰度图像中的前景目标凹于屏幕且处于舒适区、后景区域凹于屏幕且处于舒适区;

在此,对于立体图像的右视点视差灰度图像中的前景目标,若fa*>1°,则确定前景目标凸于屏幕且处于非舒适区;若0°≤fa*<1°,则确定前景目标凸于屏幕且处于舒适区;若-1°

对于立体图像的右视点视差灰度图像中的后景区域,若ba*>1°,则确定后景区域凸于屏幕且处于非舒适区;若0°≤ba*<1°,则确定后景区域凸于屏幕且处于舒适区;若-1°

其中,fa*表示立体图像的右视点视差灰度图像中的前景目标的视差角,fa*=f-k,ba*表示立体图像的右视点视差灰度图像中的后景区域的视差角,ba*=b-k,f表示人眼双目观看前景目标的会聚角, b表示人眼双目观看后景区域的会聚角,k表示人眼双目的调节角, arctan()为求反正

切函数,p表示人眼双目的瞳距,L表示显示器的宽度,N表示显示器的水平分辨率,h表示人眼到显示器的距离,F表示立体图像的右视点视差灰度图像中的前景目标的平均视差幅度,F以像素点为单位,B表示立体图像的右视点视差灰度图像中的后景区域的平均视差幅度,B以像素点为单位,*

dR(x,y)表

示立体图像的右视点视差灰度图像中坐标位置为(x,y)的像素点的像素值;

②选择每幅立体图像有视觉舒适度的平均主观评分均值的一个立体图像数据库;然后根据立体图像数据库中的每幅立体图像的右视点视差灰度图像中的前景目标的视差角和后景区域的视差角,确定立体图像数据库中的每幅立体图像所属的场景模式;再根据立体图像数据库中属于每种场景模式的所有立体图像各自的右视点视差灰度图像中的前景目标的视差角和后景区域的视差角,建立每种场景模式下的视觉舒适度评价模型,将第n种场景模式下的视觉舒适度评价模型描述如下:SMMOn=(4.2028-u(Qn))-v(Qn)×Da(Qn)+0.1912×ln(Wa)-0.0208×Da(Qn)×ln(Wa),其中,1≤n≤10,SMMOn表示第n种场景模式下的视觉舒适度评价模型的输出,u(Qn)和v(Qn)均为常数,Da(Qn)表示待输入的一幅属于第n种场景模式的待评价的立体图像的右视点视差灰度图像的全局视差角,Da(Qn)=Qn×|fa|+(1-Qn)×|ba|,Qn表示第n种场景模式下的权重,fa表示待输入的一幅属于第n种场景模式的待评价的立体图像的右视点视差灰度图像中的前景目标的视差角,ba表示待输入的一幅属于第n种场景模式的待评价的立体图像的右视点视差灰度图像中的后景区域的视差角,Wa表示待输入的一幅属于第n种场景模式的待评价的立体图像的右视点视差灰度图像中的前景目标的宽度角,符号“||”为取绝对值符号;

③将待评价的立体图像的右视点视差灰度图像记为{dR(x,y)},其中,1≤x≤W,1≤y≤H,W表示待评价的立体图像的宽度,其与立体图像数据库中的每幅立体图像的宽度一致,H表示待评价的立体图像的高度,其与立体图像数据库中的每幅立体图像的高度一致,dR(x,y)表示{dR(x,y)}中坐标位置为(x,y)的像素点的像素值;然后采用与步骤②中相同的方式,确定待评价的立体图像所属的场景模式;再根据待评价的立体图像所属的场景模式,选取该场景模式下的视觉舒适度评价模型;接着根据该场景模式下的视觉舒适度评价模型及{dR(x,y)}中的前景目标的视差角、{dR(x,y)}中的后景区域的视差角和{dR(x,y)}中的前景目标的宽度角,计算待评价的立体图像的视觉舒适度评价预测值,记为smmo,假设待评价的立体图像属于第n种场景模式,则smmo=(4.2028-u(Qn))-v(Qn)×Da'(Qn)+0.1912×ln(Wa')-0.0208×Da'(Qn)×ln(Wa'),其中,Da'(Qn)表示{dR(x,y)}的全局视差角,Da'(Qn)=Qn×|fa'|+(1-Qn)×|ba'|,fa'表示{dR(x,y)}中的前景目标的视差角,ba'表示{dR(x,y)}中的后景区域的视差角,Wa'表示{dR(x,y)}中的前景目标的宽度角;

④对待评价的立体图像的视觉舒适度评价预测值smmo进行修正,将待评价的立体图像的修正后的视觉舒适度评价预测值记为smm,

其中,max()为取最大值函数,P表示待评价的立体图像所属的场景模式下的视觉舒适度评价模型的曲折度衰减系数,Sr'表示{dR(x,y)}中的前景目标的平均前景行线段数,Sc'表示{dR(x,y)}中的前景目标的平均前景列线段数,Tf表示设定的视差角阈值,Tr表示设定的前景行线段数阈值,Tc表示设定的前景列线段数阈值。

2.根据权利要求1所述的一种基于场景模式分类的立体图像视觉舒适度评价方法,其特征在于所述的步骤②中Qn的获取过程为:

②-1、假设立体图像数据库中属于第n种场景模式的立体图像的总幅数为M',其中,M'≥1;

②-2、令qn的初始值为0.1,令Qn的初始值为0;

②-3、计算第n种场景模式下的权重取值为qn时立体图像数据库中属于第n种场景模式的每幅立体图像的右视点视差灰度图像的全局视差角,将第n种场景模式下的权重取值为qn时立体图像数据库中属于第n种场景模式的第m'幅立体图像的右视点视差灰度图像的全局视差角记为Dm',a(qn),Dm',a(qn)=qn×|fm',a|+(1-qn)×|bm',a|,其中,1≤m'≤M',fm',a和bm',a对应表示立体图像数据库中属于第n种场景模式的第m'幅立体图像的右视点视差灰度图像中的前景目标的视差角和后景区域的视差角,符号“||”为取绝对值符号;

②-4、计算第n种场景模式下的权重取值为qn时立体图像数据库中属于第n种场景模式的每幅立体图像排除了视差线性影响的舒适度客观评价值,将第n种场景模式下的权重取值为qn时立体图像数据库中属于第n种场景模式的第m'幅立体图像排除了视差线性影响的舒适度客观评价值记为VCh(Dm',a(qn),Wa),VCh(Dm',a(qn),Wa)=4.2028+0.1912×ln(Wa)-

0.0208×Dm',a(qn)×ln(Wa);然后计算第n种场景模式下的权重取值为qn时立体图像数据库中属于第n种场景模式的每幅立体图像的视差线性影响的舒适度客观评价值,将第n种场景模式下的权重取值为qn时立体图像数据库中属于第n种场景模式的第m'幅立体图像的视差线性影响的舒适度客观评价值记为ERRm',ERRm'=VCh(Dm'

②-5、根据第n种场景模式下的权重取值为qn时立体图像数据库中属于第n种场景模式的所有立体图像对应的一个拟合直线方程,获取第n种场景模式下的权重取值为qn时立体图像数据库中属于第n种场景模式的所有立体图像的舒适度客观评价方程:SMMOn(qn)=VCh(Da(qn),Wa)-ERR=(4.2028-u(qn))-v(qn)×Da(qn)+0.1912×ln(Wa)-0.0208×Da(qn)×ln(Wa),其中,SMMOn(qn)为叠加了视差线性影响和视差非线性影响的舒适度客观评价值,VCh(Da(qn),Wa)表示第n种场景模式下的权重取值为qn时立体图像数据库中属于第n种场景模式的任一幅立体图像排除了视差线性影响的舒适度客观评价值;然后度量第n种场景模式下的权重取值为qn时立体图像数据库中属于第n种场景模式的所有立体图像的舒适度客观评价值与对应的舒适度主观评价值的拟合程度;

②-6、令qn=qn+0.1,然后返回步骤②-3继续执行,直至qn等于1.1时结束,得到第n种场景模式下的权重取值分别为0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9、1.0时相应的拟合程度,然后将最佳拟合程度对应的权重取值赋值给Qn,其中,qn=qn+0.1中的“=”为赋值符号;

所述的步骤②中u(Qn)的取值为最佳拟合程度对应的拟合直线方程中的一次项系数;所述的步骤②中v(Qn)的取值为最佳拟合程度对应的拟合直线方程中的常数。

3.根据权利要求1或2所述的一种基于场景模式分类的立体图像视觉舒适度评价方法,其特征在于所述的步骤②中立体图像数据库中的每幅立体图像的右视点视差灰度图像中的前景目标和后景区域的获取方式与所述的步骤③中待评价的立体图像的右视点视差灰度图像中的前景目标和后景区域的获取方式相同,将立体图像数据库中的每幅立体图像和待评价的立体图像均作为待处理立体图像,则待处理立体图像的右视点视差灰度图像中的前景目标和后景区域的获取过程为:获取待处理立体图像的右视点视差灰度图像的灰度直方图;然后采用最大类间方差法,并根据待处理立体图像的右视点视差灰度图像的灰度直方图,得到待处理立体图像的右视点视差灰度图像的灰度分割阈值,记为Pseg;再将待处理立体图像的右视点视差灰度图像中像素值大于或等于Pseg的像素点确定为前景像素点,并将待处理立体图像的右视点视差灰度图像中像素值小于Pseg的像素点确定为后景像素点;

最后由所有前景像素点构成待处理立体图像的右视点视差灰度图像中的前景目标,由所有后景像素点构成待处理立体图像的右视点视差灰度图像中的后景区域。

4.根据权利要求3所述的一种基于场景模式分类的立体图像视觉舒适度评价方法,其特征在于所述的待处理立体图像的右视点视差灰度图像的灰度分割阈值Pseg的获取过程为:X1、建立灰度分割阈值寻找目标函数,记为T,T=wf×(μ-μf)2+wb×(μ-μb)2,其中,wf表示待处理立体图像的右视点视差灰度图像中的前景像素点的总个数占待处理立体图像的右视点视差灰度图像中的像素点的总个数的比例, μf表示待处理立体图像的右视点视差灰度图像中的所有前景像素点的像素值的均值, wb表

示待处理立体图像的右视点视差灰度图像中的后景像素点的总个数占待处理立体图像的右视点视差灰度图像中的像素点的总个数的比例, μb表示待处理立体图

像的右视点视差灰度图像中的所有后景像素点的像素值的均值, μ

表示待处理立体图像的右视点视差灰度图像中的所有像素点的像素值的均值,μ=wf×μf+wb×μb,Histd(g)表示待处理立体图像的右视点视差灰度图像的灰度直方图{Histd(g)}中像素值为g的像素点的个数,0≤gmin≤g≤gmax≤255,gmin表示待处理立体图像的右视点视差灰度图像的灰度直方图{Histd(g)}中像素点的个数大于0的最小像素值,gmax表示待处理立体图像的右视点视差灰度图像的灰度直方图{Histd(g)}中像素点的个数大于0的最大像素值;

X2、在区间[gmin,gmax]内遍历t,将使得T最大时t的取值确定为待处理立体图像的右视点视差灰度图像的灰度分割阈值Pseg。

5.根据权利要求3所述的一种基于场景模式分类的立体图像视觉舒适度评价方法,其特征在于所述的步骤②中确定立体图像数据库中的每幅立体图像所属的场景模式的方式与所述的步骤③中确定待评价的立体图像所属的场景模式的方式相同,将立体图像数据库中的每幅立体图像和待评价的立体图像均作为待处理立体图像,则确定待处理立体图像所属的场景模式的具体过程为:Z1、对于待处理立体图像的右视点视差灰度图像中的前景目标,若fa*>1°,则确定前景目标凸于屏幕且处于非舒适区;若0°≤fa*<1°,则确定前景目标凸于屏幕且处于舒适区;若-

对于待处理立体图像的右视点视差灰度图像中的后景区域,若ba*>1°,则确定后景区域凸于屏幕且处于非舒适区;若0°≤ba*<1°,则确定后景区域凸于屏幕且处于舒适区;若-1°

其中,fa*表示待处理立体图像的右视点视差灰度图像中的前景目标的视差角,fa*=f-k,ba*表示待处理立体图像的右视点视差灰度图像中的后景区域的视差角,ba*=b-k,f表示人眼双目观看前景目标的会聚角, b表示人眼双目观看后景区域的会聚角,k表示人眼双目的调节角, arctan()为求反正

切函数,p表示人眼双目的瞳距,L表示显示器的宽度,N表示显示器的水平分辨率,h表示人眼到显示器的距离,F表示待处理立体图像的右视点视差灰度图像中的前景目标的平均视差幅度,F以像素点为单位, B表示待处理立体图像的右视点视差灰度图像中的后景区域的平均视差幅度,B以像素点为单位, dR*

(x,y)表示待处理立体图像的右视点视差灰度图像中坐标位置为(x,y)的像素点的像素值;

Z2、根据待处理立体图像的右视点视差灰度图像中的前景目标相对于屏幕的凹凸性以及是否处于舒适区、后景区域相对于屏幕的凹凸性以及是否处于舒适区,确定待处理立体图像所属的场景模式,具体为:若前景目标凸于屏幕且处于非舒适区、后景区域凹于屏幕且处于非舒适区,则确定待处理立体图像属于第1种场景模式;若前景目标凸于屏幕且处于非舒适区、后景区域凸于屏幕且处于非舒适区,则确定待处理立体图像属于第2种场景模式;

若前景目标凹于屏幕且处于非舒适区、后景区域凹于屏幕且处于非舒适区,则确定待处理立体图像属于第3种场景模式;若前景目标凸于屏幕且处于非舒适区、后景区域凹于屏幕且处于舒适区,则确定待处理立体图像属于第4种场景模式;若前景目标凸于屏幕且处于非舒适区、后景区域凸于屏幕且处于舒适区,则确定待处理立体图像属于第5种场景模式;若前景目标凸于屏幕且处于舒适区、后景区域凹于屏幕且处于非舒适区,则确定待处理立体图像属于第6种场景模式;若前景目标凹于屏幕且处于舒适区、后景区域凹于屏幕且处于非舒适区,则确定待处理立体图像属于第7种场景模式;若前景目标凸于屏幕且处于舒适区、后景区域凹于屏幕且处于舒适区,则确定待处理立体图像属于第8种场景模式;若前景目标凸于屏幕且处于舒适区、后景区域凸于屏幕且处于舒适区,则确定待处理立体图像属于第9种场景模式;若前景目标凹于屏幕且处于舒适区、后景区域凹于屏幕且处于舒适区,则确定待处理立体图像属于第10种场景模式。

6.根据权利要求5所述的一种基于场景模式分类的立体图像视觉舒适度评价方法,其特征在于所述的步骤③中{dR(x,y)}中的前景目标的宽度角 其中,

arctan()为求反正切函数,h表示人眼到显示器的距离,Wfront表示{dR(x,y)}中的前景目标的平均宽度,Wfront的获取过程为:

a1、对{dR(x,y)}进行二值化处理,得到{dR(x,y)}的二值化图像,记为{BI(x,y)},将{BI(x,y)}中坐标位置为(x,y)的像素点的像素值记为BI(x,y),当{dR(x,y)}中坐标位置为(x,y)的像素点属于前景目标时,令BI(x,y)=1,当{dR(x,y)}中坐标位置为(x,y)的像素点属于后景区域时,令BI(x,y)=0;

a2、对{BI(x,y)}进行行扫描,对于{BI(x,y)}中的第row行,从第row行的第1个像素点开始向右扫描,在扫描到第1个像素值为1的像素点时,将该像素点作为第1段前景宽度线段的起始位置,并将该像素点的列坐标记为x1,继续向右扫描直至扫描到像素值为0的像素点为止得到第1段前景宽度线段,将该像素值为0的像素点的列坐标记为x2,将第1段前景宽度线段的长度记为WL1,WL1=x2-x1;继续向右扫描,以与获取第1段前景宽度线段相同的方式,获取第row行中的所有前景宽度线段;其中,row的初始值为1,1≤row≤H,1≤x1

a3、将{BI(x,y)}中长度小于0.002W的所有前景宽度线段和长度大于0.995W的所有前景宽度线段去除;然后按长度从小到大的顺序对剩余的所有前景宽度线段进行排序,取中间80%的前景宽度线段构成前景宽度线段集合,记为{WL'n},其中,WL'n表示{WL'n}中的第n段前景宽度线段的长度,1≤n≤N',N'表示{WL'n}中包含的前景宽度线段的总段数;

a4、计算{WL'n}中的所有前景宽度线段的长度的平均值,记为Wfront',

然后将Wfront'作为{dR(x,y)}中的前景目标的平均宽度Wfront,即令Wfront=Wfront'。

7.根据权利要求6所述的一种基于场景模式分类的立体图像视觉舒适度评价方法,其特征在于所述的步骤④中{dR(x ,y)}中的前景目标的平均前景行线段数

{dR(x,y)}中的前景目标的平均前景列线段数 其

中,1≤row≤H,1≤col≤W,RLQrow表示{dR(x,y)}中的第row行中的前景行线段的数量,CLQcol表示{dR(x,y)}中的第col列中的前景列线段的数量,其中,RLQrow和CLQcol的获取过程为:

b1、对{dR(x,y)}进行二值化处理,得到{dR(x,y)}的二值化图像,记为{BI(x,y)},将{BI(x,y)}中坐标位置为(x,y)的像素点的像素值记为BI(x,y),当{dR(x,y)}中坐标位置为(x,y)的像素点属于前景目标时,令BI(x,y)=1,当{dR(x,y)}中坐标位置为(x,y)的像素点属于后景区域时,令BI(x,y)=0;

b2、对{BI(x,y)}依次进行数学形态学的2次膨胀运算、4次腐蚀运算、2次膨胀运算,得到{BI'(x,y)},其中,BI'(x,y)表示{BI'(x,y)}中坐标位置为(x,y)的像素点的像素值;

b3、统计{BI'(x,y)}中的每行中有效的前景行线段的数量,将{BI'(x,y)}中的第row行中有效的前景行线段的数量记为RLQrow',RLQrow'的获取过程为:b3-1、令RLQrow'的初始值为

0;b3-2、从{BI'(x,y)}中的第row行的第1个像素点开始向右扫描,在扫描到第1个像素值为

1的像素点时,将该像素点作为第1段前景行线段的起始位置,并将该像素点的列坐标记为x1',继续向右扫描直至扫描到像素值为0的像素点为止得到第1段前景行线段,将该像素值为0的像素点的列坐标记为x2',若第1段前景行线段的长度x2'-x1'大于0.005W,则确定第1段前景行线段为有效的前景行线段,并令RLQrow'=RLQrow'+1,若第1段前景行线段的长度x2'-x1'小于或等于0.005W,则确定第1段前景行线段为无效的前景行线段;继续向右扫描,以与获取第1段前景行线段并确定第1段前景行线段是否为有效的前景行线段相同的方式,获得第row行中的所有有效的前景行线段,并统计得到第row行中有效的前景行线段的数量RLQrow';其中,row的初始值为1,1≤row≤H,1≤x1'

同样,统计{BI'(x,y)}中的每行中有效的前景列线段的数量,将{BI'(x,y)}中的第col行中有效的前景列线段的数量记为CLQcol',CLQcol'的获取过程为:b3-1)、令CLQcol'的初始值为0;b3-2)、从{BI'(x,y)}中的第col列的第1个像素点开始向下扫描,在扫描到第1个像素值为1的像素点时,将该像素点作为第1段前景列线段的起始位置,并将该像素点的行坐标记为y1',继续向下扫描直至扫描到像素值为0的像素点为止得到第1段前景列线段,将该像素值为0的像素点的行坐标记为y2',若第1段前景列线段的长度y2'-y1'大于0.005H,则确定第1段前景列线段为有效的前景列线段,并令CLQcol'=CLQcol'+1,若第1段前列列线段的长度y2'-y1'小于或等于0.005H,则确定第1段前景列线段为无效的前景列线段;继续向下扫描,以与获取第1段前景列线段并确定第1段前景列线段是否为有效的前景列线段相同的方式,获得第col行中的所有有效的前景列线段,并统计得到第col列中有效的前景列线段的数量CLQcol';其中,col的初始值为1,1≤col≤W,1≤y1'

b4、令RLQrow=RLQrow',令CLQcol=CLQcol'。

8.根据权利要求7所述的一种基于场景模式分类的立体图像视觉舒适度评价方法,其特征在于所述的步骤④中取P=1.6、Tf=2.0、Tr=2、Tc=1.5。