1.一种行为识别方法,包括:
对图像序列进行特征提取,得到与所述图像序列中的至少一帧图像关联的初始图像特征;
根据所述初始图像特征和针对所述至少一帧图像的对象检测结果,确定与所述至少一帧图像关联的目标图像特征;以及基于所述目标图像特征,进行针对所述至少一帧图像的对象行为识别,得到行为识别结果。
2.根据权利要求1所述的方法,其中,
所述对图像序列进行特征提取,得到与所述图像序列中的至少一帧图像关联的初始图像特征,包括:对所述图像序列进行特征提取,得到与所述至少一帧图像关联的全局时空特征,以作为所述初始图像特征;以及所述根据所述初始图像特征和针对所述至少一帧图像的对象检测结果,确定与所述至少一帧图像关联的目标图像特征,包括:根据所述全局时空特征和由所述对象检测结果指示的待检测对象的位置特征,确定与所述待检测对象关联的局域时空特征,以作为所述目标图像特征。
3.根据权利要求2所述的方法,其中,所述对所述图像序列进行特征提取,得到与所述至少一帧图像关联的全局时空特征,包括:对所述图像序列进行空间特征提取,得到与所述至少一帧图像关联的全局空间特征;
以及
对所述全局空间特征进行基于预设时域尺度的特征提取,得到与所述至少一帧图像关联的全局时空特征。
4.根据权利要求1所述的方法,其中,
所述对图像序列进行特征提取,得到与所述图像序列中的至少一帧图像关联的初始图像特征,包括:对所述图像序列进行特征提取,得到与所述至少一帧图像关联的全局空间特征,以作为所述初始图像特征;以及所述根据所述初始图像特征和针对所述至少一帧图像的对象检测结果,确定与所述至少一帧图像关联的目标图像特征,包括:根据所述全局空间特征和由所述对象检测结果指示的待检测对象的位置特征,确定与所述待检测对象关联的局域空间特征;
对所述局域空间特征进行基于预设时域尺度的特征提取,得到与所述待检测对象关联的局域时空特征,以作为所述目标图像特征。
5.根据权利要求2至4中任一项所述的方法,其中,所述基于所述目标图像特征,进行针对所述至少一帧图像的对象行为识别,得到行为识别结果,包括:根据与所述待检测对象关联的局域时空特征,筛选包含行为特征的目标时空特征;以及基于所述目标时空特征,确定所述待检测对象的行为属于预设行为类别的置信度,得到所述行为识别结果。
6.根据权利要求2至4中任一项所述的方法,其中,所述基于所述目标图像特征,进行针对所述至少一帧图像的对象行为识别,得到行为识别结果,包括:根据与所述待检测对象关联的局域时空特征,确定所述局域时空特征与预设特征空间范围的行为特征中心之间的距离;以及根据所述局域时空特征与所述行为特征中心之间的距离,确定针对所述待检测对象的行为识别结果,其中,所述行为特征中心用于表征所述特征空间范围内的行为特征。
7.根据权利要求2至6中任一项所述的方法,还包括:根据所述行为识别结果和/或与所述待检测对象关联的局域时空特征,对所述待检测对象进行追踪,得到对象追踪结果。
8.一种深度学习模型的训练方法,包括:
利用待训练的深度学习模型,对样本图像序列进行特征提取,得到与所述样本图像序列中的至少一帧样本图像关联的初始样本特征;
根据所述初始样本特征和针对所述至少一帧样本图像的对象检测结果,确定与所述至少一帧图像关联的目标样本特征;
基于所述目标样本特征,进行针对所述至少一帧样本图像的对象行为识别,得到行为识别结果;以及根据所述行为识别结果和预设行为标签,对所述深度学习模型的模型参数进行调整,得到经训练的深度学习模型。
9.根据权利要求8所述的方法,其中,
所述对样本图像序列进行特征提取,得到与样本图像序列中的至少一帧样本图像关联的初始样本特征,包括:对所述样本图像序列进行特征提取,得到与所述至少一帧样本图像关联的全局时空特征,以作为所述初始样本特征;以及所述根据所述初始样本特征和针对所述至少一帧样本图像的对象检测结果,确定与所述至少一帧图像关联的目标样本特征,包括:根据所述全局时空特征和由所述对象检测结果指示的待检测对象的位置特征,确定与所述待检测对象关联的局域时空特征,以作为所述目标样本特征。
10.根据权利要求9所述的方法,其中,所述对所述样本图像序列进行特征提取,得到与所述至少一帧样本图像关联的全局时空特征,包括:对所述样本图像序列进行空间特征提取,得到与所述至少一帧样本图像关联的全局空间特征;以及对所述全局空间特征进行基于预设时域尺度的特征提取,得到与所述至少一帧样本图像关联的全局时空特征。
11.根据权利要求8所述的方法,其中,
所述对样本图像序列进行特征提取,得到与样本图像序列中的至少一帧样本图像关联的初始样本特征,包括:对所述样本图像序列进行特征提取,得到与所述至少一帧样本图像关联的全局空间特征,以作为所述初始图像特征;以及所述根据所述初始样本特征和针对所述至少一帧样本图像的对象检测结果,确定与所述至少一帧图像关联的目标样本特征,包括:根据所述全局空间特征和由所述对象检测结果指示的待检测对象的位置特征,确定与所述待检测对象关联的局域空间特征;
对所述局域空间特征进行基于预设时域尺度的特征提取,得到与所述待检测对象关联的局域时空特征,以作为所述目标图像特征。
12.一种行为识别装置,包括:
第一处理模块,用于对图像序列进行特征提取,得到与所述图像序列中的至少一帧图像关联的初始图像特征;
第二处理模块,用于根据所述初始图像特征和针对所述至少一帧图像的对象检测结果,确定与所述至少一帧图像关联的目标图像特征;以及第三处理模块,用于基于所述目标图像特征,进行针对所述至少一帧图像的对象行为识别,得到行为识别结果。
13.根据权利要求12所述的装置,其中,所述第一处理模块包括:第一处理子模块,用于对所述图像序列进行特征提取,得到与所述至少一帧图像关联的全局时空特征,以作为所述初始图像特征;以及所述第二处理模块包括:
第二处理子模块,用于根据所述全局时空特征和由所述对象检测结果指示的待检测对象的位置特征,确定与所述待检测对象关联的局域时空特征,以作为所述目标图像特征。
14.根据权利要求13所述的装置,其中,所述第一处理子模块包括:第一处理单元,用于对所述图像序列进行空间特征提取,得到与所述至少一帧图像关联的全局空间特征;以及第二处理单元,用于对所述全局空间特征进行基于预设时域尺度的特征提取,得到与所述至少一帧图像关联的全局时空特征。
15.根据权利要求12所述的装置,其中,所述第一处理模块包括:第三处理子模块,用于对所述图像序列进行特征提取,得到与所述至少一帧图像关联的全局空间特征,以作为所述初始图像特征;以及所述第二处理模块包括:
第四处理子模块,用于根据所述全局空间特征和由所述对象检测结果指示的待检测对象的位置特征,确定与所述待检测对象关联的局域空间特征;
第五处理子模块,用于对所述局域空间特征进行基于预设时域尺度的特征提取,得到与所述待检测对象关联的局域时空特征,以作为所述目标图像特征。
16.根据权利要求13至15中任一项所述的装置,其中,所述第三处理模块包括:第六处理子模块,用于根据与所述待检测对象关联的局域时空特征,筛选包含行为特征的目标时空特征;以及第七处理子模块,用于基于所述目标时空特征,确定所述待检测对象的行为属于预设行为类别的置信度,得到所述行为识别结果。
17.根据权利要求13至15中任一项所述的装置,其中,所述第三处理模块包括:第八处理子模块,用于根据与所述待检测对象关联的局域时空特征,确定所述局域时空特征与预设特征空间范围的行为特征中心之间的距离;以及第九处理子模块,用于根据所述局域时空特征与所述行为特征中心之间的距离,确定针对所述待检测对象的行为识别结果,其中,所述行为特征中心用于表征所述特征空间范围内的行为特征。
18.根据权利要求13至17中任一项所述的装置,还包括:第四处理模块,用于根据所述行为识别结果和/或与所述待检测对象关联的局域时空特征,对所述待检测对象进行追踪,得到对象追踪结果。
19.一种深度学习模型的训练装置,包括:
第五处理模块,用于利用待训练的深度学习模型,对样本图像序列进行特征提取,得到与所述样本图像序列中的至少一帧样本图像关联的初始样本特征;
第六处理模块,用于根据所述初始样本特征和针对所述至少一帧样本图像的对象检测结果,确定与所述至少一帧图像关联的目标样本特征;
第七处理模块,用于基于所述目标样本特征,进行针对所述至少一帧样本图像的对象行为识别,得到行为识别结果;以及第八处理模块,用于根据所述行为识别结果和预设行为标签,对所述深度学习模型的模型参数进行调整,得到经训练的深度学习模型。
20.根据权利要求19所述的装置,其中,所述第五处理模块包括:第十处理子模块,用于对所述样本图像序列进行特征提取,得到与所述至少一帧样本图像关联的全局时空特征,以作为所述初始样本特征;以及所述第六处理模块包括:
第十一处理子模块,用于根据所述全局时空特征和由所述对象检测结果指示的待检测对象的位置特征,确定与所述待检测对象关联的局域时空特征,以作为所述目标样本特征。
21.根据权利要求20所述的装置,其中,所述第十处理子模块包括:第三处理单元,用于对所述样本图像序列进行空间特征提取,得到与所述至少一帧样本图像关联的全局空间特征;以及第四处理单元,用于对所述全局空间特征进行基于预设时域尺度的特征提取,得到与所述至少一帧样本图像关联的全局时空特征。
22.根据权利要求19所述的装置,其中,所述第五处理模块包括:第十二处理子模块,用于对所述样本图像序列进行特征提取,得到与所述至少一帧样本图像关联的全局空间特征,以作为所述初始图像特征;以及所述第六处理模块包括:
第十三处理子模块,用于根据所述全局空间特征和由所述对象检测结果指示的待检测对象的位置特征,确定与所述待检测对象关联的局域空间特征;
第十四处理子模块,用于对所述局域空间特征进行基于预设时域尺度的特征提取,得到与所述待检测对象关联的局域时空特征,以作为所述目标图像特征。
23.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1~7中任一项所述的方法或者权利要求8~11中任一项所述的方法。
24.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行权利要求1~7中任一项所述的方法或者权利要求8~11中任一项所述的方法。
25.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1~7中任一项所述的方法或者根据权利要求8~11中任一项所述的方法。