1.一种采摘机器人的自主导航和人机协同采摘作业系统,其特征在于:包括采摘机器人,用于实现人-采摘机器人之间进行信息交互的、并能用于采摘机器人的空间定位的无线传感网和用于对采摘现场和采摘机器人的状态进行综合分析处理和判断的、并用于在人机协同采摘作业中为采摘管理人员提供远程干预和管理的计算机;
所述的采摘机器人包括:行走部分、采摘机器手、用于获取采摘区域全景立体视频图像的全景立体视觉传感器和用于实现采摘机器人的自主导航、避障、定位和路径规划功能的智能体,所述的智能体以下简称Agent,所述的Agent根据所述的全景立体视觉传感器感知的信息进行分析、计算和推理,在常规情况下,根据所述的采摘管理人员下达的采摘区域和采摘时间的采摘作业调度决策,自动做出路径规划,驱动所述的行走部分和所述的采摘机器手完成边行走边采摘的任务操作;在非常规情况下通过无线传感网向采摘管理人员提供非规则事件等信息,请求采摘管理人员的干预;
所述的Agent包括任务规划行为模块、协调行为模块、与采摘管理人的交互行为模块、紧急行为模块、路径识别行为模块、避障行为模块、定位行为模块、路径跟踪行为模块、采摘边界识别行为模块、行走行为模块、转向行为模块、采摘对象的识别和分类行为模块、采摘对象的空间定位行为模块和采摘行为模块;
所述的无线传感网,用于采摘管理人员与采摘机器人之间的信息交互,同时也能为采摘机器人的空间定位提供信息;采用一种以ns级的冲击脉冲在短距离内高速传输数据的无线通信技术,通过所述的无线传感网将分布在采摘区域中的采摘机器人与所述的采摘管理人员构成一个人-采摘机器人一体化的采摘管理和控制系统,根据需求、环境和采摘对象的变化,通过动态自组织的方式协同地感知和采集网络分布区域的多采摘机器人和各种采摘对象的信息,形成一种人与采摘机器人相互激发、优势互补、共同寻求问题求解的协同机制;
所述的行走行为模块中,采用模糊控制方法;根据全景视觉成像特点,经过图像分割和滤波数字图像处理,两农作物行间在全景成像上呈现出向着成像中心圆的一条直线;采用Hough变换来检测农作物行中心线;利用Hough变换得到边界线将不连续的边缘像素点连接起来;对采摘机器人采用模糊导航控制,用γ0和θr0表示采摘机器人的期望位置和姿态,导航角θr(t)表示采摘机器人的轴线与两作物行中线的偏角,单位:rad,导航距γ(t)表示采摘机器人导航全景视觉传感器的中心在地面的投影点到两作物行中线的距离,单位:mm,转角控制输出δ(t)表示主动导向轮的转角变化量,控制输出μ(t)表示两侧后轮的转速差;
将模糊导航控制归纳为双输入双输出的模糊控制求解问题,首先,确定隶属函数、模糊集进行模糊化直线函数能快速调整较大误差,钟形和Bell型函数变化平滑性;在误差较大时,考虑调整的速度,采用三角形隶属函数;在误差允许范围内,采用曲线型隶属函数;取γ、θr、μ和δ的模糊子集,在各自论域中均划分为7个集合“左大(LB)”、“左中(LM)”、“左小(LS)”、“零(ZE)”、“右小(RS)”、“右中(RM)”、“右大(RB)”;通过实验得到参数γ、θr、μ和δ的有效论域;输入变量γ和θr具有相似的变化特性,均设置相同的隶属函数;输出变量μ和δ也具有相似的变化特性,也设置相同的隶属函数;
建立控制规则,用模糊条件语句来描述控制规则:
Ri:if Q1is Ai and Q2is Bi,then U1is Ci andU2is Di;
Ri表示第i条控制规则,Q1表示导航角语言变量,Q2表示导航距语言变量,U1表示转角控制输出语言变量,U2表示两侧后轮的转速差输出语言变量;它们的语言值在相应论域中的模糊子集分别为Ai、Bi、Ci和Di,根据控制规则建立输入和输出控制规律表,根据输入变量得到相应的输出变量;
利用重心法进行解模糊化处理,得到输出变量μ和δ的精确控制值;
所述的避障行为模块,通过全景立体视觉的方式检测出行进方向上的障碍物,障碍物全景立体视觉检测过程为:1)去除全景立体图像中非立体视觉视场方位的部分,对全景图像进行展开和极线校正,这部分主要通过展开图像内径、外径、以及柱状展开图上极线校正来完成;2)对展开图像采用边缘检测技术初步检测出疑似障碍物的边缘信息,通过阈值调整,检测出障碍物的边缘信息;3)对采摘机器人所获取的全景立体图像对中的所有疑似障碍物点利用极线约束进行立体匹配,根据匹配的像素对的图像坐标值进行立体视觉空间点的重建,根据全景立体视觉传感器成像时,图像坐标、全景立体视觉传感器的坐标以及现实世界坐标系之间的关系,计算得出其相应的高度值,当高度大于给定阈值时则判定为障碍物点;障碍物点的高度以及障碍物点与采摘机器人的距离的计算方法由公式(1)~公式(2)表示;
d=(b cosγ1cosγ2)/sin(γ1-γ2) (1)
h=H-b-d×arctanγ2=H-d×arctanγ1 (2)
式中,d表示障碍物点A与采摘机器人的全景立体视觉轴线在地面上投影点的距离,b表示构成全景立体视觉的两个全景视觉传感器的视点间的距离,γ1表示障碍物点A在上全景视觉传感器上成像的入射角,γ2表示障碍物点A在下全景视觉传感器上成像的入射角,h表示障碍物点A的高度,H表示上全景视觉传感器的视点到地面的距离;
在检测出障碍物后就需要让采摘机器人采取避障行为,所述避障行为的流程为:步骤
1)如果没有检测到障碍物,则沿着两作物行中线前进;步骤2)如果检测到前进方向存在障碍物,获得障碍物的距离信息,判断障碍物与采摘机器人的距离是否小于2米,如果是则进入避障区;步骤3)进入障碍区后减速前进,启动避障策略,绕开障碍物;步骤4)关闭避障策略,继续从步骤1)开始执行,直至遍历整个采摘区域;避障策略采用模糊控制算法来实现。
2.如权利要求1所述的采摘机器人的自主导航和人机协同采摘作业系统,其特征在
于:所述的路径识别行为模块,采用直线路径模型来规划采摘机器人的导航路径,将采摘机器人当前位姿数据作为输入,采摘机器人姿态调整量作为输出;将农作物采摘场景分割成行走区域和非行走区域,用色调信息特征就能将场景中的土地、水和采摘对象区分开来;分割的方法是采集这三种物体的样本块,用前反馈神经网络的方法来识别场景,输入的图像中的土壤颜色就是采摘机器人的可行走区域。
3.如权利要求2所述的采摘机器人的自主导航和人机协同采摘作业系统,其特征在
于:所述的协调行为模块包括外部协调单元和内部协调单元,内部协调单元对直行采摘行为模块、转向行为模块、行走行为模块、避障行为模块和路径识别行为模块进行选择,决定哪个行为模块被激活,并对同时激活的行为模块进行协调;1)体现紧急事件最优先的原则,一旦所述的紧急行为模块发出紧急请求时所述的协调行为模块首先让所述的直行采摘行为模块、所述的转向行为模块和所述的避障行为模块设置为休眠锁定状态,接着通过与所述的采摘管理人的交互行为模块向采摘管理人员请求干预,当采摘管理人员处理完紧急事件后才能解除所述的直行采摘行为模块、所述的转向行为模块和所述的避障行为模块的休眠锁定状态;2)体现按采摘作业顺序工作的原则,协调好所述的采摘机器人边行走、边采摘的动作,当检测到所述的机器手的采摘范围内有采摘对象时停止行走,当周边的采摘对象都采摘结束时再启动行走;在行走、采摘和转向行为的同时其他行为模块均处于激活状态,并以多线程的方式分别运行在所述的Agent中。
4.如权利要求3所述的采摘机器人的自主导航和人机协同采摘作业系统,其特征在
于:所述的与采摘管理人的交互行为模块,包括以下交互行为:1)请求干预的交互行为,当采摘机器人发生紧急事件、采摘机器人内部的存放容器已满等情况时,请求采摘管理人员干预;2)接受采摘调度指令的交互行为,当采摘管理人员下达采摘任务后,将采摘任务转达给所述的任务规划行为模块,在所述的任务规划行为模块做出遍历路径规划后,将遍历路径规划反馈给采摘管理人员;3)协商的交互行为,根据所述的Agent根据自身感知的情况,通过对自身知识的推理,能向采摘管理人员提供适当的帮助和建议;4)提供采摘现场信息的交互行为,负责响应来自采摘管理人员的上传信息指令,将所述的Agent所感知到的全景视频信息和分析得到的状态信息上传给采摘管理人员。
5.如权利要求4所述的采摘机器人的自主导航和人机协同采摘作业系统,其特征在
于:所述的任务规划行为模块,所述的Agent根据所述的采摘管理人员发出的采摘调度指令,在规定的采摘区域内做出遍历路径规划,控制采摘机器人沿规划出的路径以直线方式行走,至田埂边界后掉头,然后沿反方向直线运行如此反复迁回,直到整个采摘区域被覆盖。
6.如权利要求5所述的采摘机器人的自主导航和人机协同采摘作业系统,其特征在
于:所述的紧急行为模块,所述的紧急行为是所述的采摘机器人优先级最高的行为,在所述的采摘机器人避障行为失败后或者是发生颠倒不能行走等事故就切换到所述的紧急行为;
当所述的紧急行为发生时,所述的Agent立刻向采摘管理人员发出请求干预信息,等待采摘管理人员到现场干预处理,请求干预信息是以紧急行为发生的空间位置显示在所述的计算机的显示屏上,在显示屏上显示有以农用拖拉机为中心的电子地图,电子地图上标明了请求干预信息发出采摘机器人的空间位置。
7.如权利要求6所述的采摘机器人的自主导航和人机协同采摘作业系统,其特征在
于:所述的路径跟踪行为模块,采摘机器人以迂回行走的方式进行全区域覆盖采摘,识别并跟踪采摘轨迹,采用无线定位技术定位采摘机器人的空间位置,记录每时间点采摘机器人的空间位置来实现采摘轨迹的跟踪。
8.如权利要求7所述的采摘机器人的自主导航和人机协同采摘作业系统,其特征在
于:所述采摘管理人员驾驶乘坐在农用拖拉机中,经采摘区域的田埂对分布在采摘区域内的各所述的采摘机器人进行巡视;对所述的采摘机器人发生的各种非常规情况,即紧急行为进行及时的处置,对所述的采摘机器人发出的采摘农作物装卸请求做出响应,将所述的采摘机器人的容器中的采摘农作物转移到所述的农用拖拉机的收集箱中;所述的农用拖拉机驾驶室内配置了所述的计算机,所述的计算机中安装了采摘管理和控制系统软件,所述的采摘管理人员通过所述的计算机对分布在各区域内的所述的采摘机器人进行采摘管理和控制;所述的计算机通过所述的无线传感网与分布在各区域内的所述的采摘机器人中的所述的Agent进行信息交互。