1.一种基于双目视觉的柑橘采摘机器人,其特征在于:包括三自由度移动机构、末端执行机构、双目测距视觉识别机构、超声波测距机构、底座支撑机构和嵌入式主控制端;三自由度移动机构整体位于底座支撑机构之上,三自由度移动机构包括移动平台、同步带直线模组滑台、丝杆导轨滑台,移动平台固定在同步带的上端,同步带直线模组滑台竖直固定于移动平台的上方,丝杆导轨滑台通过升降伸缩机构连接件与同步带直线模组滑台连接,并与同步带直线模组滑台呈15~30度的倾斜角度;末端执行机构固定在丝杆导轨滑台的末端;双目测距视觉识别机构固定在同步带直线模组滑台的顶端;超声波测距机构中的超声波模块固定于底座支撑机构之上。
2.根据权利要求1所述的基于双目视觉的柑橘采摘机器人,其特征在于:移动平台由铝型材搭建而成,通过梯形螺母、螺丝及角件进行连接;电机固定架与轴承固定架分别固定在底座支撑机构的左右两侧;直流电机固定在电机固定架上,两个整体径向滑动轴承固定在轴承固定架上,传动杆通过过盈配合连接固定于两个整体径向滑动轴承的轴承孔内;第一同步带轮通过螺纹紧固连接安装于直流电机的电机轴上,第二同步带轮通过螺纹紧固连接固定于传动杆上,同步带的两端分别与第一同步带轮、第二同步带轮连接,同步带固定件固定于移动平台的一侧。
3.根据权利要求1所述的基于双目视觉的柑橘采摘机器人,其特征在于:同步带直线模组滑台上安装有同步带直线模组滑台滑块;丝杆导轨滑台上安装有丝杆导轨滑台滑块,丝杆导轨滑台滑块通过连接件与铝型材相连接,限位固定架固定于丝杆导轨滑台的末端,伸缩步进电机位于丝杆导轨滑台的末端。
4.根据权利要求1所述的基于双目视觉的柑橘采摘机器人,其特征在于:所述的末端执行机构包括机械爪、末端执行器固定架和嵌入式从控制端,其中机械爪内置有舵机、压力传感模块,机械爪通过末端执行器固定架固定于铝型材的末端。
5.一种基于双目视觉的柑橘采摘实现方法,其特征在于:采用权利要求1~4中任一项所述的基于双目视觉的柑橘采摘机器人作为执行机构进行采摘,包括下述步骤:(1)首先,柑橘采摘机器人进行位置的初始化,即三维空间坐标的初始化;双摄像头图像识别相机获取柑橘所处的空间位置,事先确定某一参照位置,通过双目测距技术计算得到柑橘三维空间坐标即柑橘在水平、竖直、前后方向上相对于左摄像头光心的距离数据,然后通过坐标转换规则将柑橘三维空间坐标转换成机器坐标即柑橘在水平、竖直、前后方向上相对于机械爪的距离数据;
(2)根据所获得的柑橘在水平方向上相对于机械爪的距离数据,计算出移动平台需在水平方向移动的距离;移动平台与同步带连接并随同步带进行水平方向上的移动,移动平台所处位置由固定于底座支撑机构上的超声波测距机构确定;
(3)根据所获得的柑橘在竖直方向上相对于机械爪的距离数据,确定控制同步带直线模组滑台的升降步进电机的转动圈数,带动同步带直线模组滑台滑块进行竖直方向上的精确移动;
(4)根据所获得的柑橘在前后方向上相对于机械爪的距离数据,确定丝杆导轨滑台上的伸缩步进电机需转动的圈数,通过控制丝杆导轨滑台上伸缩步进电机的转动圈数,使末端执行机构进行水平方向与竖直方向的综合移动;
(5)末端执行机构准确靠近目标柑橘后,机械爪由张开状态缓慢闭合,直到内嵌的压力传感模块探测到有柑橘被抓取,则停止闭合机械爪,实现抓取柑橘动作,再通过模拟人工采摘的上抬动作,以达到果梗与相连接果枝的分离。
6.根据权利要求5所述的基于双目视觉的柑橘采摘实现方法,其特征在于采用下述控制步骤:
(1)PC视觉处理端通过基于视觉的自动识别果实方法识别果实,然后通过基于双目视觉的定位方法来定位果实位置,再通过蓝牙模块发送机器坐标即柑橘在水平、竖直、前后方向上相对于机械爪的距离数据到嵌入式主控制端;
(2)嵌入式主控制端接收到机器坐标后,利用超声波模块作为距离反馈器件来控制直流电机,使机器人整体移动到机器坐标系Yr轴的目标位置,通过数学公式解算出伸缩步进电机和升降步进电机需要移动的距离,通过步进电机驱动器驱动伸缩步进电机和升降步进电机,使末端执行机构到达目标位置,嵌入式主控制端通过无线通信模块发送夹持信号给嵌入式从控制端;
(3)嵌入式从控制端接收到夹持信号后,控制末端执行机构对果实进行抓取,抓取完成后发送抓取完成信号给嵌入式主控制端,嵌入式主控制端控制Xr轴上的伸缩步进电机、Yr轴上的直流电机、Zr轴上的升降步进电机回到初始位置,并发送张开信号给嵌入式从控制端来控制末端执行机构松开果实,完成一次采摘动作;
(4)嵌入式主控制端通过无线通信模块发送采摘完成信号到PC视觉处理端,再循环开始步骤(1)的动作。
7.根据权利要求6所述的基于双目视觉的柑橘采摘实现方法,其特征在于:所述的基于视觉的自动识别果实方法,包括下述步骤:(1)获取双摄像头图像识别相机拍摄的RGB三通道图像;
(2)对图像进行色彩分割,即提取图像的R通道分量和G通道分量,并用R通道分量减去G通道分量获得一个红、橙、黄等颜色高亮度,绿色为低亮度的新图像分量;
(3)使用Otsu自适应阈值法对新图像分量进行二值化,获得成熟果实为白色,背景绿叶为黑色的二值图像;
(4)对二值图像用Canny边缘检测算法提取图像边缘;
(5)利用霍夫变换检测圆,在图像边缘中提取圆形的边缘;
(6)筛选无效区域,把圆形的边缘内部包括区域提取为ROI区域,计算步骤(3)中生成的二值图像中各ROI区域的平均灰度值,若ROI区域的平均灰度值高于128,则该ROI区域为图像中果实所处区域;
(7)若步骤(6)中无平均灰度值高于128的ROI区域,则可判断该图像中无成熟果实。
8.根据权利要求6所述的基于双目视觉的柑橘采摘实现方法,其特征在于:所述的基于双目视觉的定位方法,包括下述步骤:(1)首先进行单目标定,对一块标定板在不同方向进行三次以上完整拍照,再通过OpenCV自带的算法,计算获得相机的内参,包括相机的焦距、光心位置、径向畸变和切向畸变;
(2)然后进行双目标定,获得两个相机的平移矩阵和旋转矩阵,即相机的外参;通过标定的内容计算可生成两个双摄像头图像识别相机对应的无畸变平行图片,在此基础上调用OpenCV的SGBM算法,匹配两张图片上的对应点,生成两张图片的视差图和三维点云;再通过三维点云、双摄像头图像识别相机的内参和外参,计算获得指定点的柑橘三维空间坐标。
9.根据权利要求6所述的基于双目视觉的柑橘采摘实现方法,其特征在于:嵌入式主控制端通过蓝牙模块与PC视觉处理端进行通信,获取机器坐标系数据并反馈机器人的运行状态,通过超声波模块和直流电机驱动电路实现机器坐标系Yr轴的运动,通过步进电机驱动器驱动升降步进电机、伸缩步进电机实现机器坐标系Xr、Zr轴的运动,通过LCD显示当前系统的运行状态,通过2.4G无线通信发送模块与嵌入式从控制端进行通信来控制末端执行机构。
10.根据权利要求6所述的基于双目视觉的柑橘采摘实现方法,其特征在于:所述的嵌入式从控制端是集成了2.4G通信协议、舵机控制算法、AD转换算法、物体感应算法;嵌入式从控制端通过2.4G通信协议获取到嵌入式主控制端的控制信号,通过舵机控制算法控制舵机的开合对于果实进行夹持,通过AD转换算法对压力传感模块进行压力数值采集,再调用物体感应算法感应是否抓到果实。