欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019103699491
申请人: 长春理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种全景影像无缝拼接方法,其特征在于:主要包括:

步骤a1、假设有若干个影像,每个影像分别由a1,a2,...,an;b1,b2,...,bn;...;d1,d2,...,dn;.....帧构成,分别对原始影像的a1~an帧图像进行预处理,对a1、b1、...、d1;

a2、b2、...、d2;.....帧图像进行预处理并采用改进ORB算法对该帧图像进行图像配准;

步骤a2、PROSAC算法剔除虚假匹配;

步骤a3、计算上述步骤中已匹配特征点坐标关系的数学模型,即变换矩阵H;

步骤a4、计算接缝线;

步骤a5、改进的加权平均融合方法将a1、b1、...d1帧图像融合成全景无缝图像;

步骤a6、当第一帧a1、b1、...d1的图像拼接完成后,利用卡尔曼滤波结合交互多模型(IMM‑FT)对该帧检测到的特征点进行跟踪,以预测在下一帧a2、b2、..d2图像中特征点的位置并完成校正;

步骤a7、重复上述步骤直至所有帧拼接完毕;

所述对原始影像的a1~an帧图像进行预处理方法包括:

步骤b1、加权中值滤波对原始图像进行降噪;

步骤b2、直方图匹配方法对原始图像进行调整,使其处于相同或相近的亮度水平;

所述采用改进的ORB算法进行图像配准,具体包括以下三个步骤:步骤c1、用Oriented FAST算法来进行特征点检测,并计算特征点主方向;

步骤c2、利用改进的BRIEF算法进行特征点描述,生成Rotated BRIEF特征描述子;

步骤c3、在特征点匹配中,改进原算法,以减少单一的Hamming距离可能造成的不正确匹配的数量,过程如下:

a.计算Hamming距离D,r1和r2是分别是两个二进制串形式的特征点描述子,则Hamming距离b.计算两个特征点Hamming距离相似度: 式中n为r1和r2描述子的长度,SHamming越大则两个特征点相似度越高,本发明设置Hamming距离相似阈值SThr1=0.8,若SHamming>SThr1,则两个特征点匹配,否则不匹配;

c.计算上述步骤b中匹配的特征点对即满足SHamming>SThr1的特征点对的余弦相似度Scos, a1和a2是分别是两个向量形式的特征点描述子,Scos∈[‑1,1],Scos越大则两个特征点相似度越高;

d.将步骤b中计算的Scos与余弦相似阈值SThr2进行对比,若余弦相似度Scos>SThr2,则为正确匹配,反之,则为错误匹配;

e.同时满足以下两个条件的匹配记为正确匹配:①SHamming>SThr1,②Scos>SThr2,否则为错误匹配,予以剔除;

f.重复以上步骤a‑e直至所有特征点匹配完毕,

所述计算接缝线的步骤如下:

步骤1、计算Grdist矩阵,其计算过程如下:

GrImg=|grImg1‑grImg2|+mask,数字彩色图像是M×N的三维矩阵,M×N表示图像尺寸,单位是像素,三维可以理解为M×N的矩阵有三个,分别是R、G、B域的值,上式中Img1和Img2是具有重叠区域的图像,即图像矩阵,Img1‑Img2是图像矩阵的差值,maxr、minr、maxc、minc分别是图像矩阵行和列的最大值和最小值,meanr(RGB)和meanc(RGB)分别是图像矩阵行和列的平均值,T(RGB)是计算得到的一个阈值,mask是一个比较生成的逻辑矩阵,GrImg是求得的灰度图像,grImg1和grImg2是图像的梯度,|grImg1‑grImg2|代表对求得的差值矩阵的每个元素取绝对值,再计算GrImg的每个像素点的灰度加权距离,把这些计算得到的灰度加权距离写入矩阵Grdist中,即得到Grdist矩阵;

步骤2、计算值矩阵Val,其计算方法如下:ImgDif=|Img1‑Img2|,其中Imgi是带有重叠区域的图像,ImgDif是图像矩阵差值的绝对值,ImgDifmax和ImgDifmid表示对Img1‑Img2图像矩阵的R、G、B三个矩阵的对应元素取最大值和中间值;

步骤3、确定满足最佳路径的点,在Grdist矩阵中选定一个中心点及其相邻的八个点组成的块,选择值小于中心点的相邻点,这些相邻点中,值矩阵中对应的值最小的点将被选为下一个点;

步骤4、对步骤3进行迭代计算,直到确定矩阵中所有满足上述条件的点,最后这些点可确定最佳接缝,所述改进的加权平均融合方法,其计算方法如下:

f(x,y)=α1f1(x,y)+α2f2(x,y),(x,y)∈(f1∩f2),式中f是融合的图像,f1和f2是图像的重叠部分, 分别是f1和f2中像素对应的权重,α1+α2=1,α1<1,α2<

1,Wx为重叠区域的宽度,(x,y)是像素点的坐标;

所述利用卡尔曼滤波结合交互多模型方法对该帧检测到的特征点进行跟踪,步骤如下:步骤1‑1、输入交互:由上一个周期和协方差得到的状态估计S1P和S2P,在t‑1时刻根据条件概率模型混合交互得到So1P和So2P;

步骤1‑2、卡尔曼滤波器跟踪特征点位置,步骤如下:

A、卡尔曼滤波的预测阶段:

(A1)、计算状态模型:S(t)=A(t)*S(t‑1)+W(t‑1),式中S(t)表示位置状态模型,A(t)是状态转移矩阵,S(t‑1)为上一帧的位置状态模型,W(t‑1)是高斯白噪声;

(A2)、计算测量模型:M(t)=H(t)*S(t)+V(t),式中M(t)代表测量模型,H(t)为测量矩阵,V(t)为高斯白噪声;

(A3)、计算先验位置:SPriori(t)=A(t)*S(t‑1),式中SPriori(t)是先验位置;

T

(A4)、计算先验协方差:PPriori(t)=A(t)*P(t‑1)*A(t) +Q(t),式中PPriori(t)为先验协方差,P(t‑1)表示上一帧的协方差,T代表变换,Q(t)是过程噪声的协方差;

B、卡尔曼滤波的校正阶段,校正上一步骤中预测的特征点位置,其计算过程如下:T T ‑1

(B1)、计算卡尔曼增益:K(t)=PPriori(t)*C(t) *(C(t)*PPriori(t)*C(t)+R(t)) ,式中C(t)是状态模型和测量模型之间的转换关系,R(t)是测量噪声协方差,计算中已知;

(B2)、计算后验位置:SPosteriori(t)=SPriori(t)*K(t)*(M(t)‑H(t)*SPriori(t)),(B3)、计算后验协方差:PPosteriori(t)=(I‑K(t)*H(t))*PPriori(t),(B4)、校正完成后,更新下一状态协方差噪声,以预测下一个特征点位置的下一个状态和协方差,步骤1‑3、更新模型概率;

步骤1‑4、根据单个模型单独计算的跟踪结果和模型匹配得权重输出t时刻交互数据结果,步骤1‑5、使用当前帧的单个状态运动模型估计作为下一帧的状态估计,并且对每个后续帧继续处理,以完成所有帧的特征点位置预测和校正。

2.根据权利要求1所述的一种全景影像无缝拼接方法,其特征在于:步骤a1所述的若干个影像的个数在3个以上。

3.根据权利要求1所述的一种全景影像无缝拼接方法,其特征在于:步骤a1所述的每个影像包含的帧总数可以相同或不同。

4.根据权利要求1所述的一种全景影像无缝拼接方法,其特征在于:本发明中取余弦相似阈值SThr2=0.97。

5.根据权利要求1所述的一种全景影像无缝拼接方法,其特征在于:mask矩阵是将(Img1‑Img2)矩阵逐个元素与T(RGB)比较后生成的只包含1和0元素的同型三维矩阵。

6.根据权利要求1所述的一种全景影像无缝拼接方法,其特征在于:在卡尔曼滤波结合交互多模型方法中使用了运动模型。