欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021101638791
申请人: 燕山大学
专利类型:发明专利
专利状态:已下证
专利领域: 救生;消防
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种无人机引导的多机协作灭火方法,其特征在于,其包括以下步骤:S1、启动地面控制终端:将地面控制终端所在位置设定为全局坐标系原点,在地面控制终端旁布置好无人机和多个消防无人车,操作人员通过地面控制终端的UI界面启动系统;

S2、无人机沿搜索航点进行飞行搜索并建立地面二维地图信息;操作人员通过地面控制终端设置无人机的搜索航点,并设定其飞行高度和飞行速度,发出起飞和执行任务指令,无人机通过第一无线通信模块接收到该指令,飞行控制模块按照该指令控制无人机起飞,并按照设定好的航点进行着火点位置的飞行搜索,通过第一激光雷达实时获取地面环境情况,并采用SLAM算法建立地面二维地图信息;

S3、寻找着火点并对其精准定位:利用火焰识别算法寻找着火点,结合目标跟踪算法实现对着火点的精准定位;

所述步骤S3具体包括以下步骤:

S31、无人机在飞行搜索过程中,飞行控制模块控制三轴云台保持固定方向和角度,第一激光雷达和三轴云台实时获取地面环境情况,并将其传给第一板载计算机;

S32、第一板载计算机运行SLAM算法进行建图,利用第一激光雷达数据对无人机飞过途经的地面环境建立二维地图信息;

S33、第一板载计算机运行所述火焰识别算法,利用实时视频信息对着火点进行寻找;

S34、发现着火点后,飞行控制模块控制无人机进行悬停,同时第一板载计算机运行目标跟踪算法,实现对着火点的精准定位;

所述火焰识别算法采用基于图像处理的火焰检测算法,具体包括以下步骤:S391、三通道分割:分割所获取到的实时视频图像的RGB通道;

S392、形态学操作:为分割出的R、G、B三个通道设置相应基于颜色进行划分的阈值;

S393、高斯滤波:使用高斯滤波对实时视频图像进行降噪平滑处理;

S394、火源检测:结合RGB判据和HIS判据,基于颜色划分阈值;

S395、轮廓识别与重心算法:将实时视频图像二值化,挖空内部点,获取图像的轮廓,将对轮廓进行全面分析,获得总加权值作为轮廓的重心,从而获得火源中心的大致位置;

S396、最小边界矩形算法:从获得的火焰中心开始,获得轮廓的最小外接矩形,得到矩形四个顶点的坐标并绘制矩形,对火焰区域进行框定;

所述目标跟踪算法具体包括以下步骤:

S341、矩形框获取:获取步骤S396中检测到的矩形框的大小和位置;

S342、计算相机画面中心点与矩形框中心点位置的误差值:设定相机图像平面坐标系,以左上角为原点,向右为u正方向,向下为v正方向;设定无人机机体坐标系,以机体重心为原点,x轴指向机头,z轴指向机腹,x轴和z轴都位于纵向对称面内,而y轴指向机身右侧,与x、z轴构成右手系;无人机根据第一航姿传感器获得三轴云台的俯仰角为β,无人机根据第一双目相机立体视觉算法获得无人机与着火点的距离为L,得到计算误差表达式:其中:vmin,vmax表示矩形框上、下边框的边界位置;umin,umax表示矩形框左、右边框的边界位置;(ucenter,vcenter)表示相机画面中心点位置坐标;H′为设定的需要调整到的无人机与着火点之间的目标高度值;xerror,yerror,zerror表示相机画面中心点与矩形框中心点位置的x向、y向、z向误差值;

S343、无人机位置调整:将计算得到的误差值经处理后得到的线速度信息,发给飞行控制模块,控制无人机的电机动力系统进行调整,并循环该步骤使得误差值不断减小,目标矩形框中心点不断靠近相机画面中心点,所述处理后得到的线速度为:其中:Kx,Ky,Kz均表示减小误差用的参数,绝对值均小于等于1;

S4、计算全局坐标系下着火点的空间位置信息:无人机将无人机GPS定位信息、当前飞行控制模块中的气压计信息和运用双目相机立体视觉算法测得的无人机与着火点的距离信息传回飞行控制模块,飞行控制模块将数据传输至第一板载计算机,通过坐标计算,计算出全局坐标系下着火点目标的二维坐标和高度信息,无人机将着火点的空间位置信息和通过SLAM建图所获得的二维地图信息通过第一无线通信模块传送给地面控制终端;

其中所述坐标计算具体包括以下步骤:

S41:数据获取:设无人机位于N点处,根据其第一GPS模块测得的定位信息以及无人机与地面控制终端的位置关系,通过坐标转换得到无人机在全局坐标系下的二维坐标信息,记为Q(X0,Y0),无人机根据第一航姿传感器获得三轴云台的航向角为α、俯仰角为β,无人机运用第一双目相机立体视觉算法测得与着火点的距离为L;无人机根据飞行控制模块的气压计测得其高度值为h,以上数据均传递至第一板载计算机;

S42:坐标计算:利用第一板载计算机获得的数据,经过计算得全局坐标系下着火点的二维坐标P(X1,Y1)和其高度值H:S5、标记着火点、无人机和所有消防无人车的空间位置信息:地面控制终端收到无人机的二维地图信息,在上面标出着火点的二维坐标位置和高度信息、无人机的当前位置以及所有消防无人车的当前位置;

S6、所有消防无人车经路径规划后编队行驶向着火点前进:操作人员为所有消防无人车接上消防水带,准备工作和无人机侦察任务完成后,操作人员通过地面控制终端启动所有消防无人车,所有消防无人车采用领航者‑跟随者的编队算法前进,地面控制终端为领航者消防无人车提供无人机所获取到的地图信息及着火点坐标位置和高度信息,领航者消防无人车运行导航算法进行定位和路径规划后即能往着火点目标前进,跟随者消防无人车通过编队算法跟随领航者消防无人车向着火点目标前进;

S7、所有消防无人车自主避障并建立三维稀疏点云图:所有消防无人车在前进的过程中,均通过各自的第二激光雷达获取周围环境的情况,所有消防无人车上的第二板载计算机调用导航算法,通过运动控制模块控制各自对应的消防无人车自动实时躲避路径上的障碍物,同时所有消防无人车上的第二板载计算机根据各自对应的第二双目相机数据调用ORB‑SLAM算法建立三维稀疏点云图;

S8、所有消防无人车通过温度传感器判断前进与否:所有消防无人车在前进过程中,其上各自的第二板载计算机需要根据温度传感器数据判断是否临近着火位置,若周围温度到达设定阈值或抵达着火点位置处,则停止前进;

S9、所有消防无人车临近着火点开始进行灭火任务:经火焰识别算法进行火焰识别,调用立体视觉算法测出着火点位置和火势信息,调整航向角参数使消防水炮始终对着着火点,自动计算消防水炮的喷射俯仰角和喷射流量并调整,进行精准定点喷射;

所述步骤S9具体包括以下步骤:

S91、所有消防无人车根据其上各自的第二双目相机获取的数据,通过对应的第二板载计算机调用所述火焰识别算法进行火焰识别,并调用立体视觉算法测出着火位置与消防无人车的距离以及着火高度和火势大小的信息;

S92、所有消防无人车的运动控制模块通过调整对应的第二航姿传感器的航向角参数,使消防水炮始终对着着火点目标;

S93、所有消防无人车的第二板载计算机根据各自消防无人车与着火点的相对空间位置关系、着火高度和火势大小的信息,自动计算消防水炮的喷射俯仰角和喷射流量,并将计算出的参数传给运动控制模块;

S94、所有消防无人车的运动控制模块控制各自的消防水炮,调整俯仰角参数和喷射流量,进行精准定点喷射;

S10、完成灭火任务后无人机和所有消防无人车各自沿原路返回:无人机通过三轴云台的第一双目相机侦察到灭火完成后,向地面控制终端发送已灭火完成的信号,操作人员通过地面控制终端观察无人机的实时视频图像,确定完成灭火任务后,控制所有消防无人车停止喷射,与无人机按照原路径返回到地面控制终端所在区域内,完成灭火任务;无人机运行SLAM算法建图,同时运行火焰识别算法对着火点进行寻找,当发现着火点后运行目标跟踪算法,无人机悬停实现着火点的精准定位,进行着火点坐标计算后,无人机将地图信息和着火点信息提供给无人车,无人车根据上述信息进行路径规划,携带消防水枪即可抵达着火点处,在保证大范围搜寻并精准定位着火点位置。

2.根据权利要求1所述的无人机引导的多机协作灭火方法,其特征在于,所述步骤S6中的领航者‑跟随者编队算法采用纵队形,具体包括以下步骤:S611、数据获取:所有消防无人车通过各自的第二GPS模块和第二激光雷达采集数据后,其自身的第二板载计算机获取到定位数据和激光雷达数据;

S612、通过第二无线通信模块,所有消防无人车进行数据交流:领航者消防无人车上的第二板载计算机结合激光雷达数据和导航信息做出运动控制命令,通过运动控制模块控制领航者消防无人车进行运动,并将运动控制命令发送至跟随者消防无人车,跟随者消防无人车上的第二板载计算机将自身定位数据、自身激光雷达数据、领航者消防无人车的位置信息和领航者消防无人车的运动控制命令进行分析和运算后,通过运动控制模块控制跟随者消防无人车跟随领航者消防无人车进行运动;

S613、控制算法:根据领航者消防无人车与跟随者消防无人车之间的距离和偏航角的差值,计算后通过第二无线通信模块给出跟随者消防无人车的控制命令,使得两者位置差距逐渐趋近于给定值,跟随者消防无人车的角速度由二者相对位置的反正切值决定,线速度由二者相对位置的直线距离决定;当领航者消防无人车速度一定时,若跟随者消防无人车与其相距较远,则给定线速度大于领航者消防无人车速度;反之,相距较近时则小于领航者消防无人车速度;当距离达到一定值且二者速度相同时,两者距离不变,形成稳定编队;

调整系数即能对消防无人车形成编队速度以及编队中的相对位置进行调整,线速度控制中调整系数越大,编队中两车距离较远;

所述导航算法具体包括以下步骤:

S621、定位:领航者消防无人车获取第二GPS模块信息和第二激光雷达数据,第二板载计算机根据这些数据信息获得当前自身的位置信息,利用AMCL自适应蒙特卡罗算法,将当前位置信息与无人机提供的导航地图信息进行匹配,在导航地图中标记出与当前位置相对应的点;

S622、全局路径规划:根据导航地图信息,领航者消防无人车的第二板载计算机对当前位置点到目标点进行全局路径规划,使用Dijkstra算法寻找出领航者消防无人车从当前位置点到着火点的最优路线,而后第二板载计算机发出指令,通过运动控制模块控制领航者消防无人车按照最优路线前进,同时跟随者消防无人车根据所述领航者‑跟随者编队算法跟随领航者消防无人车运动;

S623、本地实时规划:各消防无人车的第二板载计算机使用DWA算法与VFH算法,规划消防无人车每个周期内的线速度、角速度,使之符合全局最优路径,同时搜索躲避和行进的多条路径并选取最优路径。

3.一种利用权利要求1或2所述的无人机引导的多机协作灭火方法的多机协作灭火系统,其特征在于,其包括一个无人机、多个消防无人车和一个地面控制终端,所述无人机包括无人机机体、飞行控制模块、搭载ROS系统的第一板载计算机、三轴云台、第一双目相机、第一激光雷达、第一GPS模块、第一无线通信模块和第一航姿传感器,所述飞行控制模块、第一板载计算机、三轴云台、第一双目相机、第一激光雷达、第一GPS模块、第一无线通信模块和第一航姿传感器均设置在所述无人机机体上,所述三轴云台、第一GPS模块和第一航姿传感器与所述飞行控制模块电气相连,所述第一双目相机、第一激光雷达和第一无线通信模块与第一板载计算机电气相连,所述飞行控制模块与第一板载计算机电气相连且两者之间使用MAVROS进行数据交互;所述消防无人车包括无人车车体、运动控制模块、搭载ROS系统的第二板载计算机、消防水炮、温度传感器、第二双目相机、第二激光雷达、第二GPS模块、第二无线通信模块、第二航姿传感器,所述运动控制模块、第二板载计算机、消防水炮、温度传感器、第二双目相机、第二激光雷达、第二GPS模块、第二无线通信模块和第二航姿传感器均设置在所述无人车车体上,所述消防水炮、温度传感器、第二GPS模块和第二航姿传感器与所述运动控制模块电气相连,所述第二双目相机、第二激光雷达和第二无线通信模块与所述第二板载计算机电气相连,所述运动控制模块与第二板载计算机电气相连且两者之间使用MAVROS进行数据交互;所述地面控制终端通过5G信号与所述第一无线通信模块和第二无线通信模块进行连接,实现与无人机和所有消防无人车的通信。

4.根据权利要求3所述的多机协作灭火系统,其特征在于,无人机的第一无线通信模块和所有消防无人车的第二无线通信模块采用5G通信模块,将无人机的第一无线通信模块、所有消防无人车的第二无线通信模块、地面控制终端搭建在同一个网络内进行无线连接,通过ROS系统中的ROS节点建立通信;第一GPS模块和第二GPS模块均采用RTK差分GPS模块;

多个进行编队的消防无人车能采用水炮无人车、泡沫无人车和排烟无人车混合编组;地面控制终端的UI界面能看到无人机的实时视频信息和建立的地图信息,能手动控制无人机和所有消防无人车的运动。