欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2023105056750
申请人: 哈尔滨理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-05-15
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于频域和语义的动态视觉SLAM方法,其特征在于,包括以下步骤:S1、获取输入图像序列,包括RGB图像与对应的深度图像;

S2、对输入帧的RGB图像进行ORB特征点的提取,具体包括以下子步骤:S21、将输入的RGB图像转换为灰度图;

S22、初始化图像金字塔参数,其中包括提取特征点数目、金字塔缩放系数、金字塔层数、每一层预分配的特征点数与初始的FAST特征点的提取参数;

S23、构建图像金字塔,在构建的过程中对每一层金字塔图像进行缩放,并对四周进行填充;

S24、遍历所有金字塔层的图像,对每一张图像进行网格化,在网格内调用opencv函数提取FAST角点;

S25、根据每一层预分配的特征点数使用八叉树法对特征点进行剔除,再使用灰度质心法计算每个特征点的方向;

S26、等待运动检测完成以获取运动物体区域;

S3、将输入的当前帧作为待配准图像,上一帧图像为配准图像,对配准图像与待配准图像利用傅里叶梅林变换在频域进行配准,具体包括以下子步骤:S31、将输入配准图像与待配准图像的RGB图像转换为灰度图;

S32、对进行配准的灰度图进行离散傅里叶变换,再对经过离散傅里叶变换的频域图进行高通滤波;

S33、对高通滤波后的频域图进行对数极坐标变换并将对数极坐标变换后的图像输入相位相关步骤得到响应坐标(x,y);

S34、对相位相关步骤得到的响应坐标(x,y)进行坐标变换得到旋转角度θ与尺度因子s,根据该旋转角度θ与尺度因子s对待配准图像进行旋转与缩放;

S35、将经过旋转与缩放后的待配准图像与配准图像再次输入相位相关步骤,得到响应坐标(x,y),根据响应坐标(x,y)对待配准图像进行平移,得到最终的配准图像;

S4、对配准图像通过帧间差分法与前一帧图像进行运动检测,并通过阈值化、边缘检测与轮廓拟合操作剔除噪音,具体包括以下子步骤:S41、将配准图像与前一帧图像共同输入帧间差分模块得到差分图,帧间差分公式如下所示:Di(x,y)=|fi(x,y)‑fi+1(x,y)|其中,Di(x,y)为第i帧差分图像,fi(x,y)为第i帧灰度图像,fi+1(x,y)为配准后的第i+1帧灰度图像;

S42、对差分图进行阈值化处理,阈值化公式如下所示:其中,Ri(x,y)为第i帧阈值图,T=40为二值化阈值,即将差分图中像素值大于40的点的像素值设为255,像素值小于40的点的像素值设为0,得到阈值图;

S43、对阈值图应用Canny边缘检测算子进行边缘检测得到边缘掩膜;

S44、对边缘掩膜应用定向矩形框拟合得到轮廓,对每个矩形框计算纵横比,若纵横比小于0.1,将其归类为残像,对残像区域的像素点置0以实现剔除,得到最终的运动掩膜;

S5、将输入帧的RGB图像输入短时密集连接STDC网络进行语义分割,得到含有物体语义信息的物体掩膜;

S6、根据STDC网络获得的物体掩膜,结合运动掩膜对物体进行运动判定,具体包括以下子步骤:S61、对物体掩膜与运动掩膜,通过如下公式计算物体的运动概率ρi:其中,Fi为物体掩膜中第i个对象的总像素个数,Mi为运动掩膜对应区域的总像素个数;

S62、设置一个阈值ε=0.1,若运动概率ρi大于阈值ε则将该物体视为运动物体,否则,视为静态物体,对静态物体区域的像素点置0得到先验的动态物体掩膜;

S63、将先验的动态物体掩膜与运动掩膜进行融合,得到最终动态物体掩膜;

S64、将动态物体掩膜输入到步骤S26,依据该动态物体掩膜对落在动态物体区域的特征点进行剔除。