欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2018114383587
申请人: 南京林业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于双目视觉追踪果实空间姿态及果实空间运动的方法,其特征在于,包括:(1)在果实表面标记三个特征点:C1、C2、C3;

(2)以果实和果柄的结合处为原点建立连体基坐标系,连体基坐标系的X轴、Y轴和Z轴分别记为X连轴、Y连轴和Z连轴,将连体基坐标系的原点标记为O1,X连轴正方向上单位向量的终点标记为X1,Y连轴正方向上单位向量的终点标记为Y1,Z连轴正方向上单位向量的终点标记为Z1;

(3)建立公共参考基坐标系;

(4)对果实表面的三个特征点以及果实和果柄的结合处建立的连体基坐标系的点O1、X1、Y1、Z1进行静态拍摄,通过Phantom软件对拍摄的图像进行存储,采用TEMA软件对图像中的特征点以及连体基坐标系的点O1、X1、Y1、Z1进行处理,获取特征点C1、C2、C3和连体基坐标系的点O1、X1、Y1、Z1的绝对坐标,进而获取特征点与连体基坐标系的固有关系;

(5)拍摄果实动态运动,通过Phantom软件对拍摄的视频中每帧图像进行存储,采用TEMA软件对图像中的特征点进行处理,获取果实表面特征点的绝对坐标,根据特征点与连体基坐标系的固有关系,通过逆旋转变换计算每帧图像对应各时刻下的连体基坐标系的点O1、X1、Y1、Z1的绝对坐标,通过空间向量夹角公式计算各时刻下的向量 与公共参考基坐标系中Z轴的夹角θ,该夹角θ表示果实的摆动姿态;

(6)将各时刻下的 旋转至与公共参考基坐标系中Z轴重合的位置,计算旋转后的与公共参考基坐标系中X轴的夹角,该夹角表示果实的扭转姿态;

(7)设相邻两帧图像分别对应的时刻为t+1时刻与t时刻,分别计算点O1在t+1时刻与t时刻沿公共参考基坐标系的X轴的位移、Y轴的位移以及Z轴的位移,根据位移计算t时刻果实沿X轴的瞬时速度、沿Y轴的瞬时速度以及沿Z轴的瞬时速度,根据瞬时速度计算在t时刻果实沿X轴的瞬时加速度、沿Y轴的瞬时加速度以及沿Z轴的瞬时加速度,计算果实在相邻两帧图像时间间隔内摆动角位移,通过摆动角位移依次计算在t时刻果实摆动角速度和在t时刻果实摆动角加速度,根据t时刻到t+1时刻的扭转角度计算t时刻果实扭转角速度和t时刻果实扭转角加速度;

所述的步骤(2)包括:

以果实和果柄的结合处为原点建立连体基坐标系,以果实和果柄的结合点与果实的中心点之间的连线为中心线,该中心线为连体基坐标系的Z轴,记为Z连轴,以中心点指向结合点为Z连轴正方向,在垂直于连体基坐标系的Z轴的平面上分别建立连体基坐标系的X轴与Y轴,分别记为X连轴与Y连轴;将连体基坐标系的原点标记为O1,X连轴正方向上单位向量的终点标记为X1,Y连轴正方向上单位向量的终点标记为Y1,Z连轴正方向上单位向量的终点标记为Z1;

所述的绝对坐标为在公共参考基坐标系中的空间坐标,所述公共参考基坐标系的坐标轴的单位向量分别为:X=(1 0 0)T、Y=(0 1 0)T、Z=(0 0 1)T。

2.根据权利要求1所述的基于双目视觉追踪果实空间姿态及果实空间运动的方法,其特征在于,所述的步骤(4)具体包括:

(a)在静态下通过两台高速摄像仪对果实表面的三个特征点以及果实和果柄的结合处建立的连体基坐标系的点O1、X1、Y1、Z1进行静态拍摄,通过Phantom软件对拍摄的图像进行存储,采用TEMA软件对图像中的特征点C1、C2、C3以及连体基坐标系的点O1、X1、Y1、Z1进行处理,获取特征点C1、C2、C3的绝对坐标和连体基坐标系的点O1、X1、Y1、Z1的绝对坐标;

(b)通过绝对坐标建立向量 与 将 与 单位化;建立向量 向量向量 和向量

(c)将单位化后的 与 做向量积得到: 以 和 做向量

积得到: 从而建立以特征点C1为原点的坐标系Cxyz,则坐标系Cxyz的坐标轴向量为通过空间向量夹角计算公式计算向量 分别与公共参考基坐标系的X轴、Y轴和Z轴的夹角αx、βx、γx,计算向量 分别与公共参考基坐标系的X轴、Y轴和Z轴的夹角αy、βy、γy,计算向量 分别与公共参考基坐标系的X轴、Y轴和Z轴的夹角αz、βz、γz,则坐标转换矩阵为:点O1在坐标系Cxyz下的坐标通过公式(2)得到:

其中 由步骤(4)中的(b)得到;

同理可得 以及 其中

的坐标分别为点X1、Y1、Z1在坐标系Cxyz下的坐标;

的坐标分别为点O1、X1、Y1、Z1在坐标系Cxyz下的坐标,即表示特征点与连体基坐标系的固有关系。

3.根据权利要求2所述的基于双目视觉追踪果实空间姿态及果实空间运动的方法,其特征在于,所述的步骤(5)具体包括:

(a)通过两台高速摄像仪拍摄果实动态运动,通过Phantom软件对拍摄的视频中每帧图像进行存储,采用TEMA软件对图像中的特征点进行处理,获取果实表面特征点的绝对坐标;

(b)通过空间向量夹角计算公式计算t时刻下向量 分别与公共参考基坐标系的X轴、Y轴和Z轴的夹角αxt、βxt、γxt,计算向量 分别与公共参考基坐标系的X轴、Y轴和Z轴的夹角αyt、βyt、γyt,计算向量 分别与公共参考基坐标系的X轴、Y轴和Z轴的夹角αzt、βzt、γzt,其中 为以t时刻对应的一帧图像中的特征点C1为原点建立的坐标系Cxyz的坐标轴向量,则坐标转换矩阵为:

点O1在公共参考基坐标系中的坐标,即绝对坐标为:

其中 为t时刻下点O1的绝对坐标, 为t时刻下点C1的绝对坐标, 为点O1在坐标系Cxyz下的坐标;同理计算t时刻下点X1、Y1、Z1的绝对坐标;

每帧图像相互独立,且分别对应一个时刻,逐帧求解连体基坐标系的点O1、X1、Y1、Z1的绝对坐标;通过空间向量夹角公式计算各时刻下的向量 与公共参考基坐标系中Z轴的夹角θ:其中 (xZ、yZ、zZ)T为公共参考基坐标系中Z轴的单位向量,向量与公共参考基坐标系中Z轴的夹角θ表示果实的摆动姿态。

4.根据权利要求3所述的基于双目视觉追踪果实空间姿态及果实空间运动的方法,其特征在于,所述的步骤(6)具体包括:

(a)通过轴旋转矩阵将某帧图像对应时刻下的 旋转至与公共参考基坐标系中Z轴重合的位置,计算旋转后的 与公共参考基坐标系中X轴的夹角,该夹角表示该帧图像对应时刻下的果实的扭转姿态,具体如下:该帧图像的Z连轴方向向量为:

计算Z连轴与公共参考基坐标系中Z轴夹角

计算Z连轴在公共参考基坐标系的X轴、Y轴所在的平面上的投影与公共参考基坐标系的Y轴的夹角ψ:计算轴旋转矩阵:

旋转后的点X1的绝对坐标与旋转后的向量 的坐标一致,旋转后的向量 为:其中 为该帧图像的 旋转前的向量

则扭转角度为:

该扭转角度为旋转后的向量 与公共参考基坐标系中X轴的夹角,表示该帧图像对应时刻下的果实的扭转姿态,其中(xX、yX、zX)T为公共参考基坐标系中X轴的单位向量;

(b)同理步骤(6)中的(a)计算每帧图像对应各时刻下的果实的扭转姿态。

5.根据权利要求4所述的基于双目视觉追踪果实空间姿态及果实空间运动的方法,其特征在于,所述的步骤(7)具体包括:

(a)设相邻两帧图像分别对应的时刻为t+1时刻与t时刻,以相邻两帧图像中的连体基坐标系的点O1为基础,分别计算点O1在t+1时刻与t时刻沿公共参考基坐标系的X轴的位移:其中 分别为t+1时刻与t时刻点O1在公共参考基坐标系下x坐标;同理计算点O1在t+1时刻与t时刻沿公共参考基坐标系的Y轴的位移Sy以及Z轴的位移Sz,则合位移为:(b)用点O1在t时刻到t+1时刻沿公共参考基坐标系的X轴移动的平均速度表示在t时刻果实沿X轴的瞬时速度vx(t):其中Δt为两帧图像之间的间隔时间;同理可得在t时刻果实沿公共参考基坐标系的Y轴的瞬时速度vy(t)以及在t时刻果实沿公共参考基坐标系的Z轴的瞬时速度vz(t),则在t时刻果实的合速度为:(c)用点O1在t时刻到t+1时刻沿公共参考基坐标系的X轴移动的加速度表示在t时刻果实沿X轴的瞬时加速度ax(t):其中vx(t+1)为在t+1时刻果实沿X轴的瞬时速度,vx(t)为在t时刻果实沿X轴的瞬时速度;

同理可得在t时刻果实沿公共参考基坐标系的Y轴的瞬时加速度ay(t)以及在t时刻果实沿公共参考基坐标系的Z轴的瞬时加速度az(t);则在t时刻果实的合加速度为:(d)用t时刻Z连轴到t+1时刻Z连轴的夹角表示果实在Δt内的摆动角位移:其中 为 t 时 刻 Z连 轴的 方 向向 量 ,即 t时 刻向 量为t+1时刻Z连轴的方向向量,即t+1时刻向量

(e)用t时刻到t+1时刻平均摆动角速度表示在t时刻果实摆动角速度(f)用t时刻到t+1时刻摆动角速度变化量表示在t时刻果实摆动角加速度(g)通过轴旋转矩阵将t时刻的Z连轴以及t+1时刻的Z连轴均旋转至与公共参考基坐标系中Z轴重合的位置,采用步骤(6)中步骤(a)的公式(6)至公式(10)的方法计算t时刻下旋转后的向量 以及t+1时刻下旋转后的向量 则t时刻到t+1时刻的扭转角度为:其中 为t时刻下旋转后的向量 为t+1

时刻下旋转后的向量

t时刻果实扭转角速度为:

t时刻果实扭转角加速度为: