1.基于时空显著性行为注意力的双流网络行为识别方法，其特征在于，步骤如下：

步骤一、获取RGB帧：对于数据集中的每个视频进行取帧处理，获得RGB原始帧N为帧数，rgbi表示第i个RGB原始帧；

步骤二、计算光流图：应用TVNet算法对按时序排序的RGB原始帧frgb两两进行计算得到光流图 opti表示第i个光流帧；

步骤三、计算RGB初始关键帧krgb：首先将每一个RGB原始帧rgbi∈[1N]从RGB空间转换至YCbCr空间，然后对它的3个通道分别求直方图，每个通道直方图表示为k表示一个灰度级， 表示第c个通道第k个灰度级的直方图，

计算每帧平均直方图 构建矩阵 X的大小是

(N,2)，N为帧数；应用K-means聚类算法对X进行聚类，计算聚类中心与X中每个点的最小距离，确定RGB初始关键帧krgb；

步骤四、计算光流初始关键帧kopt：将步骤三中RGB帧替换为步骤二得到的fopt光流帧，重复步骤三，计算得到光流初始关键帧kopt；

步骤五、计算RGB关键帧final_krgb：计算kopt所对应的前后RGB帧并记为orgb；将orgb与krgb进行交处理得到RGB关键帧final_krgb，即final_krgb＝orgb∩krgb；

步骤六、计算光流关键帧final_kopt：应用TVNet算法对按时序排序的final_krgb两两进行计算得到光流图，该光流图即为光流关键帧final_kopt；

步骤七、基于显著性行为检测网络计算显著特征图mask：将RGB关键帧final_krgb输入预训练显著性行为检测网络模型，计算每一关键帧的显著特征图maski∈[1M]，M＝|final_krgb|，显著特征图maski中只保留了对应RGB关键帧中的显著人体和物体；

步骤八、构建注意力网络，计算注意力概率分布W：利用CNN提取mask的特征，并经过softmax操作得到注意力概率分布W；

步骤九、基于双向LSTM建立空间网络，计算空间类别概率分布scores1：通过步骤八中的注意力网络，将RGB关键帧final_krgb中每一帧与注意力概率分布W进行概率加权求和，计算得到空间辨别性特征 M＝|final_krgb|,其中f1i∈final_krgb， 表示注意力概率加权运算；该空间辨别性特征ψ1送入双向LSTM网络中，进一步提取深层空间特征，再经过全连接和softmax操作得到空间类别概率分布scores1；

步骤十、基于C3D网络建立时间网络，计算时间类别概率分布scores2：通过步骤八中的注意力网络，将光流关键帧final_kopt中每一帧与注意力概率分布W进行概率加权求和，计算得到时间辨别性特征 M＝|final_kopt|,其中f2i∈final_kopt， 表示注意力概率加权运算；该时间辨别性特征ψ2送入C3D网络中，进一步提取深层时间特征，再经过全连接和softmax操作得到时间类别概率分布scores2；

步骤十一、计算加权融合scores：在双流网络的基础上融合步骤九和步骤十得到的空间类别概率分布scores1和时间类别概率分布scores2。