欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020114128063
申请人: 燕山大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法,其特征在于,包括:采集鱼体视频,抽取鱼体视频中鱼体的运动子图序列;

基于关键帧算法,对一个时段鱼体的运动子图序列进行检测,得到运动鱼体的关键帧子图序列;

将得到的关键帧子图序列输入到语义分割网络模型中,在模型中对鱼体部件做分割处理,输出具有语义信息的子图序列;

对输出的具有语义信息的子图序列进行处理,得到鱼的体态朝向角度值,并映射到二维空间;

将图像二值化,计算各部件质心,并利用最大连通域和孔洞填充,确保求取的数值准确性;

利用各部件质心建立随体坐标系,以躯干和头部质心点连线作为Y轴,过躯干质心点且垂直于Y轴的方向为X轴,建立随体坐标系;以Y1轴为横轴,X1轴为纵轴,建立图像坐标系;

体态朝向角度为随体坐标系Y轴与图像坐标系X1轴的夹角,体态朝向角度值的计算公式为:上式中,A为头部质心;B为躯干质心; 为躯干和头部质心连线的向量;为图像坐标系X方向的单位向量;

分析体态朝向角度作为判据,判定鱼的运动方向,给变化的动作帧添加语义动作标签。

2.根据权利要求1所述的基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法,其特征在于,所述采集鱼体视频,抽取鱼体视频中运动鱼体的子图序列,包括:基于视频数据采集设备,自上而下的采集鱼体视频;

基于混合高斯模型的目标跟踪算法对运动的目标鱼进行跟踪,抽取出鱼体的运动子序列图。

3.根据权利要求1所述的基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法,其特征在于,所述基于关键帧算法,对一个时段运动鱼体的子图序列进行检测,得到运动鱼体的关键帧子图序列,包括:设置阈值K的帧数,在每K帧内利用关键帧算法对运动子图序列进行逐一检测;

计算熵值,熵的计算公式为:

其中, 表示灰度值为i的单帧像素所占比; 表示帧fi的概率密度函数,通过对帧fi灰度级像素强度直方图进行归一化得到;

提取局部极值点,即熵值间进行比较,提取出其中的极大值点和极小值点;熵值间的比较公式为:利用密度聚类算法,对提取的局部极值点进行聚类,计算每个极值的局部密度和各密度间的距离;其中,局部密度计算为:上式中, dc为截至距离;

各密度间的距离计算公式为:

比较局部密度间的距离和密度值大小,选择局部密度值高以及密度间距离大的点作为聚类中心,利用聚类中心对应的帧号提取出关键帧序列。

4.根据权利要求1所述的基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法,其特征在于,所述将得到的关键帧子图序列输入到语义分割网络模型中,在模型中对鱼体部件做分割处理,输出具有语义信息的子图序列,包括:训练模型:基于全卷积网络FCN的语义分割模型,将标记鱼的数据集,输入到网络中,通过全卷积、池化、上采样、跳跃结构将鱼体的各部位进行分割,经过训练,使模型识别出鱼体部件类别和所在区域;

分割处理:将关键帧子图序列输入到训练后的网络中进行分割,将鱼体的头部、躯干、左右胸鳍、左右尾鳍、尾部标记。

5.根据权利要求1所述的基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法,其特征在于,所述分析体态朝向角度作为判据,判定鱼的运动方向,给变化的动作帧添加语义动作标签,包括:以序列的第一帧体态朝向角度值为参照值,设为F;设置阈值G;

将序列每一帧的角度都与第一帧进行比较:

当经过f帧时,体态朝向角度值都没有大于(F+G)或小于(F‑G),则判定为正在直行,出现大于(F+G)或小于(F‑G)的帧,判定直行结束;在第一帧上添加开始直行动作标签,在结束帧上添加结束直行的动作标签;

当经过第f帧时,体态朝向角度值大于(F+G),判定子序列正在左转,达到峰值处完成转向,在第一帧上添加开始左转的动作标签,在峰值帧处添加结束左转的动作标签;

当经过第f帧时,体态朝向角度小于(F‑G),判定为正在右转,达到峰值处完成转向,在第一帧添加开始右转的动作标签,在峰值帧处添加结束右转的动作标签;

以每一种运动行为子序列的结束帧体态朝向角度值为参照值设为F1,按照上述方法继续进行判断并添加语义标签。

6.一种基于关键帧检测和语义部件分割的条斑鲨运动行为分析系统,其特征在于,包括:视频数据采集处理模块、关键帧检测与提取模块、语义分割技术模块、随体坐标建立模块、运动方向识别模块;

所述视频数据采集处理模块,用于采集鱼体视频,抽取鱼体视频中鱼体的运动子图序列;

所述关键帧检测与提取模块,用于基于关键帧算法,对一个时段鱼体的运动子图序列进行检测,得到运动鱼体的关键帧子图序列;

所述语义分割技术模块,用于将得到的关键帧子图序列输入到语义分割网络模型中,在模型中对鱼体部件做分割处理,输出具有语义信息的子图序列;

所述随体坐标建立模块,用于对输出的具有语义信息的子图序列进行处理,得到鱼的体态朝向角度值,并映射到二维空间;

将图像二值化,计算各部件质心,并利用最大连通域和孔洞填充,确保求取的数值准确性;

利用各部件质心建立随体坐标系,以躯干和头部质心点连线作为Y轴,过躯干质心点且垂直于Y轴的方向为X轴,建立随体坐标系;以Y1轴为横轴,X1轴为纵轴,建立图像坐标系;

体态朝向角度为随体坐标系Y轴与图像坐标系X1轴的夹角,体态朝向角度值的计算公式为:上式中,A为头部质心;B为躯干质心; 为躯干和头部质心连线的向量; 为图像坐标系X方向的单位向量;

所述运动方向识别模块,用于分析体态朝向角度作为判据,判定鱼的运动方向,给变化的动作帧添加语义动作标签。

7.根据权利要求6所述的基于关键帧检测和语义部件分割的条斑鲨运动行为分析系统,其特征在于,所述视频数据采集处理模块包括养殖设备和视频数据采集设备;

所述养殖设备为养殖池;

所述视频数据采集设备包括工业相机、支架以及计算机,相机安装在支架上,使相机垂直位于养殖池上方50cm处,实现自上而下的全景录制;计算机用于控制相机的拍摄、录制、存储、光照控制、实现子图序列抽取。