欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019105962706
申请人: 华南农业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度视频的哺乳母猪姿态转换识别方法,其特征在于,包括如下步骤:S1、采集母猪的深度视频,并建立母猪姿态转换识别视频库;

S2、建立改进的3DMaskR‑CNN母猪检测、跟踪及姿态识别模型;包括:S21、选择ResNet‑18作为基础网络,通过Detectron框架进行模型训练;

S22、在RoIAlign阶段后,除了已有的3DClassificationHead之外,新添加一个头部

2DClassificationHead,其中3DClassificationHead用于检测与跟踪母猪,新增的

2DClassificationHead用于识别母猪姿态;

S23、基础网络的参数采用center初始化;

S24、根据深度视频中母猪的尺寸,设置锚点面积和长宽比;

S25、模型训练分两个阶段:第一阶段设置Trackcls输出类别数为2,包括母猪和背景,对基础网络、TPN、3DClassificationHead三个参数进行微调,2DClassificationHead部分参数固定不变;第二阶段剔除了改进的3DMask R‑CNN训练集和验证集中母猪发生姿态转换的片段,设置Posecls输出类别数为5,包括背景、站立、坐立、趴卧和侧卧,仅对

2DClassificationHead参数进行微调,其余部分参数固定不变;其中,对参数进行微调的方法采用随机梯度下降法和反向传播算法;

S3、用改进的3DMaskR‑CNN对深度视频中的母猪进行检测、跟踪并识别母猪姿态;选取每帧中概率最大的姿态类别,形成母猪姿态序列,用姿态类别波动频次粗定位母猪姿态序列中的疑似转换片段,根据前后帧各类姿态的概率方差细定位疑似转换片段的起始帧和结束帧;包括:S31、用改进的3DMaskR‑CNN对深度视频中的母猪进行检测与跟踪并识别母猪姿态,输出每帧母猪的检测框及4类姿态概率,其中检测框由3DClassificationHead的reg层输出,4类姿态概率由2DClassificationHead的pose cls层输出;

S32、选取每帧中概率最大的姿态类别,形成母猪姿态序列,采用中值滤波对姿态序列进行修正;采用滑动窗口的方式计算每个窗口内姿态序列的变化次数,根据姿态类别的变化频率粗定位疑似转换片段,选取变化次数大于或等于3的片段作为疑似转换片段,其余片段作为单一姿态片段;

S33、细定位疑似转换片段的起始帧和结束帧,根据公式(1)计算疑似转换片段内每一帧与前后两帧的概率方差,其中,Pt表示第t帧4类姿态的概率,Pt+i表示第t+i帧4类姿态的概率;sum(x)表示对矩阵x所有元素相加求和;设tfirst为疑似转换片段内首次概率方差Vt大于0.1的视频帧,tlast为疑似转换片段内最后一次概率方差Vt大于0.1的视频帧;在tfirst、tlast的基础上再向外扩张N帧,用于获取转换前后的上下文信息,则细定位后的疑似转换片段起始帧和结束帧分别为tfirst‑N和tlast+N,形成疑似转换片段;

S4、在疑似转换片段中,设计三阶段上下文深度运动特征图3C‑DMM,以提取疑似转换片段的运动特征;包括:S41、在疑似转换片段中,用改进的3DMaskR‑CNN输出结果提取母猪检测与跟踪的外接矩形框;

S42、设计3C‑DMM特征图,提取疑似转换片段外接矩形框内的运动特征,具体过程如下:S421、初始化三张特征图,用于存储疑似转换片段3C‑DMM特征,特征图大小与外接矩形框相同,特征图中所有元素均初始化为0:S422、根据公式(2)‑(7),计算疑似转换片段外接矩形框内的3C‑DMM特征,其中,T为疑似转换片段长度,It为疑似转换片段中第t帧外接矩形内的灰度,t表示第t帧,公式(2)‑(4)为3C‑DMM特征的计算公式,公式(5)‑(7)为系数Wr(t)、Wg(t)、Wb(t)的计算公式;

S5、将提取到的3C‑DMM特征输入CNN姿态转换识别模型进行转换片段/非转换片段识别,获得识别结果。

2.根据权利要求1所述的一种基于深度视频的哺乳母猪姿态转换识别方法,其特征在于,所述步骤S1的具体过程如下:S11、实时采集获取俯视母猪深度视频;

S12、剔除母猪身体缺失、相机抖动的视频段,构建训练集、验证集和测试集;

S13、采用中值滤波对深度视频逐帧预处理,再通过限制对比度自适应直方图均衡化的方法提高视频帧对比度;

S14、构建改进的3DMaskR‑CNN训练集、验证集和测试集,对改进的3DMaskR‑CNN训练集、验证集和测试集数据进行手工标注,即标注出母猪在视频帧中的边界框和姿态类别,对于母猪处于姿态转换的视频,仅标注边界框;

S15、构建CNN姿态转换识别模型的训练集、验证集和测试集,对CNN姿态转换识别模型的训练集、验证集和测试集数据进行手工标注,即标注出母猪在视频中发生的转换行为/非转换行为。

3.根据权利要求1所述的一种基于深度视频的哺乳母猪姿态转换识别方法,其特征在于,所述步骤S5的具体过程如下:S51、训练CNN姿态转换识别模型,具体过程如下:

S511、对CNN姿态转换识别模型的训练集、验证集和测试集提取3C‑DMM特征,其中,分别对训练集、验证集做顺时针90°、180°和270°旋转以及水平、垂直镜像扩增,对测试集不扩增;

S512、选择CaffeNet作为网络结构,设置模型最终输出类别为9,包括非转换、站立转坐立、站立转卧、坐立转卧、卧转站立、卧转坐立、坐立转站立、趴卧转侧卧、侧卧转趴卧,通过Detectron框架进行模型训练;

S513、采用随机梯度下降法和反向传播算法微调参数,对网络层采用高斯分布初始化;

S52、将3C‑DMM特征输入至CNN姿态转换识别模型,输出所述9个类别的概率;

S53、根据输出结果中概率最大的类别对疑似转换片段分类,合并非转换片段和单一姿态片段,输出最终结果。

4.根据权利要求3所述的一种基于深度视频的哺乳母猪姿态转换识别方法,其特征在于,所述最终结果是各种姿态及姿态转换的起始帧和结束帧。

5.根据权利要求2所述的一种基于深度视频的哺乳母猪姿态转换识别方法,其特征在于,所述训练集是指用来训练改进的3DMaskR‑CNN和CNN模型的数据集;所述验证集是指在训练过程中,用来优化网络结构参数和模型参数的数据集,选择最优模型;所述测试集是指用来测试模型性能,并进行性能评价。

6.根据权利要求1所述的一种基于深度视频的哺乳母猪姿态转换识别方法,其特征在于,所述单一姿态片段是指母猪保持同一姿态的片段,所述疑似转换片段是指母猪可能发生姿态转换的片段,疑似转换片段进一步分为非转换、站立转坐立、站立转卧、坐立转卧、卧转站立、卧转坐立、坐立转站立、趴卧转侧卧和侧卧转趴卧共9个类别。

7.根据权利要求1所述的一种基于深度视频的哺乳母猪姿态转换识别方法,其特征在于,所述单一姿态包括:站立、坐立、趴卧和侧卧;所述姿态转换包括:站立转坐立,站立转卧,坐立转卧,卧转站立,卧转坐立,坐立转站立,趴卧转侧卧和侧卧转趴卧。