欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019106462168
申请人: 青岛科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-08-31
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多流架构与长短时记忆网络的组群行为识别方法,其特征在于,包括以下步骤:

A、数据预处理

根据数据集中主要人物候选框的标注信息,形成主要人物候选框序列;

分别提取视频中整张图片和主要人物候选框的光流时序信息;

B、通过双路TSN网络分别对主要人物候选框和整张图片的外观和运动特征进行提取,得到单人局部空间外观信息 单人局部时序运动信息 全局空间外观信息 和全局时序运动信息

C、特征融合及组群行为识别

将 和 进行融合,得到特征fA;将 和 进行融合,得到特征fB;将 和 进行融合,得到特征fC;将 和 进行融合,得到特征fD;

在融合后的特征fA、fB、fC和fD上分别加一个通道注意力模型,并让每个通道的特征学习一个权重系数,特征的重要性越大,则学习到的权重系数就大;反之,则小;

经过通道注意力模型输出的四路特征后面分别连接LSTM网络,捕获视频中长期依赖关系;每个LSTM网络直接连接softmax层,并进行分数融合,得出视频序列中的组群行为类别,根据组群行为类别获得整个组群行为的标签;

D、对模型进行训练和测试。

2.根据权利要求1所述的基于多流架构与长短时记忆网络的组群行为识别方法,其特征在于,所述双路TSN网络包括局部TSN网络TSN_L和全局TSN网络TSN_G,所述局部TSN网络TSN_L对主要人物候选框的外观和运动特征进行提取,所述全局TSN网络TSN_G对整张图片的外观和运动特征进行提取。

3.根据权利要求1所述的基于多流架构与长短时记忆网络的组群行为识别方法,其特征在于,在所述步骤B中,所述TSN网络采用稀疏采样的方法提取视频序列中的短片段,短片段沿时间维均匀分布,并采用分段结构从短片段中聚合信息。

4.根据权利要求1所述的基于多流架构与长短时记忆网络的组群行为识别方法,其特征在于,在所述步骤B中,将视频平均分成k段{S1,S2,...,Sk},利用双路TSN网络的公式表示为:

TSN(T1,T2,...,TK)=G(F(T1;W),F(T2;W),...,F(TK;W))式中,(T1,T2,...,TK)为短片段序列,每一个短片段TK为其对应的段Sk中随机采样得到;

F(TK;W)函数表示在短片段TK上进行操作并且具有参数W的卷积网络,提取每个子片段中随机采样的图像的特征;G为结合多个短片段特征的段共识函数。

5.根据权利要求4所述的基于多流架构与长短时记忆网络的组群行为识别方法,其特征在于,在所述步骤B中,结合标准的分类交叉熵损失,得到关于段共识函数G的最终损失函数。

6.根据权利要求5所述的基于多流架构与长短时记忆网络的组群行为识别方法,其特征在于,用标准的反向传播算法联合优化模型参数W。

7.根据权利要求1所述的基于多流架构与长短时记忆网络的组群行为识别方法,其特征在于,在所述步骤D中,将TSN网络与LSTM网络分别进行训练,并将数据集按照3:1的比例进行划分,将数据集中3/4的数据进行训练,1/4的数据进行测试与验证,得出数据集中各类行为的准确率以及平均识别精度。

8.根据权利要求1所述的基于多流架构与长短时记忆网络的组群行为识别方法,其特征在于,所述数据集为CAD数据集或者排球数据集。