1.一种基于多流架构与长短时记忆网络的组群行为识别方法,其特征在于,包括以下步骤:
A、数据预处理
根据数据集中主要人物候选框的标注信息,形成主要人物候选框序列;
分别提取视频中整张图片和主要人物候选框的光流时序信息;
B、通过双路TSN网络分别对主要人物候选框和整张图片的外观和运动特征进行提取,得到单人局部空间外观信息 单人局部时序运动信息 全局空间外观信息 和全局时序运动信息
C、特征融合及组群行为识别
将 和 进行融合,得到特征fA;将 和 进行融合,得到特征fB;将 和 进行融合,得到特征fC;将 和 进行融合,得到特征fD;
在融合后的特征fA、fB、fC和fD上分别加一个通道注意力模型,并让每个通道的特征学习一个权重系数,特征的重要性越大,则学习到的权重系数就大;反之,则小;
经过通道注意力模型输出的四路特征后面分别连接LSTM网络,捕获视频中长期依赖关系;每个LSTM网络直接连接softmax层,并进行分数融合,得出视频序列中的组群行为类别,根据组群行为类别获得整个组群行为的标签;
D、对模型进行训练和测试。
2.根据权利要求1所述的基于多流架构与长短时记忆网络的组群行为识别方法,其特征在于,所述双路TSN网络包括局部TSN网络TSN_L和全局TSN网络TSN_G,所述局部TSN网络TSN_L对主要人物候选框的外观和运动特征进行提取,所述全局TSN网络TSN_G对整张图片的外观和运动特征进行提取。
3.根据权利要求1所述的基于多流架构与长短时记忆网络的组群行为识别方法,其特征在于,在所述步骤B中,所述TSN网络采用稀疏采样的方法提取视频序列中的短片段,短片段沿时间维均匀分布,并采用分段结构从短片段中聚合信息。
4.根据权利要求1所述的基于多流架构与长短时记忆网络的组群行为识别方法,其特征在于,在所述步骤B中,将视频平均分成k段{S1,S2,...,Sk},利用双路TSN网络的公式表示为:
TSN(T1,T2,...,TK)=G(F(T1;W),F(T2;W),...,F(TK;W))式中,(T1,T2,...,TK)为短片段序列,每一个短片段TK为其对应的段Sk中随机采样得到;
F(TK;W)函数表示在短片段TK上进行操作并且具有参数W的卷积网络,提取每个子片段中随机采样的图像的特征;G为结合多个短片段特征的段共识函数。
5.根据权利要求4所述的基于多流架构与长短时记忆网络的组群行为识别方法,其特征在于,在所述步骤B中,结合标准的分类交叉熵损失,得到关于段共识函数G的最终损失函数。
6.根据权利要求5所述的基于多流架构与长短时记忆网络的组群行为识别方法,其特征在于,用标准的反向传播算法联合优化模型参数W。
7.根据权利要求1所述的基于多流架构与长短时记忆网络的组群行为识别方法,其特征在于,在所述步骤D中,将TSN网络与LSTM网络分别进行训练,并将数据集按照3:1的比例进行划分,将数据集中3/4的数据进行训练,1/4的数据进行测试与验证,得出数据集中各类行为的准确率以及平均识别精度。
8.根据权利要求1所述的基于多流架构与长短时记忆网络的组群行为识别方法,其特征在于,所述数据集为CAD数据集或者排球数据集。