1.一种基于持续学习的域适应骨架行为识别方法,其特征在于,包括以下步骤:获取源域和目标域的新增骨架行为数据,采用滑动窗口法提取骨架行为数据序列,生成新增样本集;将所述新增样本集作为训练样本集;
构建基于注意力机制的域适应网络模型,基于所述训练样本集对所述基于注意力机制的域适应网络模型进行训练,计算所述基于注意力机制的域适应网络模型的整体损失;若所述整体损失大于阈值,则从当前训练样本集中随机提取部分样本存入经验学习库中,从所述经验学习库中提取部分样本与下一轮训练的新增样本集中的样本组成下一轮训练的训练样本集,继续进行下一轮训练;否则训练结束,得到骨架行为识别模型;
基于骨架行为识别模型对目标域的待识别骨架行为进行识别,得到识别结果;
基于所述训练样本集对所述基于注意力机制的域适应网络模型进行训练,包括:通过局部特征提取网络提取局部特征,采用第一域判别器对所述局部特征进行域判别,根据域判别结果计算局部迁移损失及所述局部特征的权重,基于所述局部特征及对应的权重,得到可迁移特征;第一域判别器的个数根据局部特征矩阵的大小确定;
将所述可迁移特征输入多头注意力特征提取网络,基于多头注意力机制,提取代表性可迁移特征;
采用第二域判别器对所述代表性可迁移特征进行域判别,根据域判别结果计算整体迁移损失;
采用分类器对源域样本的代表性可迁移特征进行分类判别,计算源域分类判别损失;
所述分类器为全连接网络;
基于局部迁移损失、整体迁移损失和源域分类判别损失计算样本的总损失,以所述总损失最小为训练目标,对所述基于注意力机制的域适应网络模型进行训练;
根据域判别结果计算局部迁移损失及所述局部特征的权重,基于所述局部特征及对应的权重,得到可迁移特征;包括:根据公式 计算局部特征的注意力权重,其中 , 表示第k个第一域判别器对样本xi的局部特征的域判别结果,k=1,2,…K,K为第一域判别器的个数;
将局部特征与对应的注意力权重相乘,得到可迁移特征;
采用以下公式计算整体迁移损失:
,其中,D2表示第二域判别器,Gdf表示多头注意力特征提取网络,gi表示样本xi的可迁移特征,di表示样本xi的域标签,Lentropy表示交叉熵损失函数,n为训练样本数量,Ds表示源域,Dt表示目标域;
采用以下公式计算所述基于注意力机制的域适应模型的整体损失:,其中σ为超参数, 为新增样本集中样本的损
失, 为当前任务中从经验学习库中提取的样本的平均损失, 为从经验学习库中提取的样本个数, 为样本xm的损失;
从所述经验学习库中提取部分样本与下一轮训练的新增样本集中的样本组成下一轮训练的训练样本集,包括:计算经验学习库中每个样本的损失先验概率: , 其中,Pu表示第u个样本的损失先验概率, 为样本yu的损失,ε为常数,u=1,2,…nh;nh为经验学习库中的样本数;
从经验学习库提取损失先验概率最大的M个样本与下一轮训练的新增样本集中的样本组成下一轮训练的训练样本集。
2.根据权利要求1所述的基于持续学习的域适应骨架行为识别方法,其特征在于,所述采用滑动窗口法提取骨架行为数据序列,生成新增样本集,包括:采用动作向量表示每帧所述骨架行为数据,采用滑动窗口法提取D帧骨架行为数据构成一个动作矩阵;
将每个窗口的动作矩阵拆分为三个动作矩阵分量,分别计算每个动作矩阵分量的协方差矩阵;采用卷积操作将三个所述协方差矩阵合并,生成一个样本数据,多个样本数据构成新增样本集。
3.根据权利要求1所述的基于持续学习的域适应骨架行为识别方法,其特征在于,采用以下公式计算局部迁移损失:,其中, 表示第k个第一域判别器,Glf表示局部特征提取网络,di表示样本xi的域标签,Lentropy表示交叉熵损失函数,n为训练样本数量,Ds表示源域,Dt表示目标域,K为第一域判别器的个数。
4.根据权利要求1所述的基于持续学习的域适应骨架行为识别方法,其特征在于,基于局部迁移损失、整体迁移损失和源域分类判别损失计算样本的总损失,包括,采用以下公式计算样本的总损失: ,其中λ和β为超参数, Ll为局部迁移损失,Ld为整体迁移损失,Ls为源域分类判别损失。
5.一种基于持续学习的域适应骨架行为识别系统,其特征在于,包括以下模块:训练集生成模块,用于获取源域和目标域的新增骨架行为数据,采用滑动窗口法提取骨架行为数据序列,生成新增样本集;将所述新增样本集作为训练样本集;
网络模型训练模块,用于构建基于注意力机制的域适应网络模型,基于所述训练样本集对所述基于注意力机制的域适应网络模型进行训练,计算所述基于注意力机制的域适应网络模型的整体损失,若所述整体损失大于阈值,则从当前训练样本集中随机提取部分样本存入经验学习库中,从所述经验学习库中提取部分样本与下一轮训练的新增样本集中的样本组成下一轮训练的训练样本集,继续进行下一轮训练;否则训练结束,得到骨架行为识别模型;
骨架行为识别模块,用于基于骨架行为识别模型对目标域的待识别骨架行为进行识别,得到识别结果;
基于所述训练样本集对所述基于注意力机制的域适应网络模型进行训练,包括:通过局部特征提取网络提取局部特征,采用第一域判别器对所述局部特征进行域判别,根据域判别结果计算局部迁移损失及所述局部特征的权重,基于所述局部特征及对应的权重,得到可迁移特征;第一域判别器的个数根据局部特征矩阵的大小确定;
将所述可迁移特征输入多头注意力特征提取网络,基于多头注意力机制,提取代表性可迁移特征;
采用第二域判别器对所述代表性可迁移特征进行域判别,根据域判别结果计算整体迁移损失;
采用分类器对源域样本的代表性可迁移特征进行分类判别,计算源域分类判别损失;
所述分类器为全连接网络;
基于局部迁移损失、整体迁移损失和源域分类判别损失计算样本的总损失,以所述总损失最小为训练目标,对所述基于注意力机制的域适应网络模型进行训练;
根据域判别结果计算局部迁移损失及所述局部特征的权重,基于所述局部特征及对应的权重,得到可迁移特征;包括:根据公式 计算局部特征的注意力权重,其中 , 表示第k个第一域判别器对样本xi的局部特征的域判别结果,k=1,2,…K,K为第一域判别器的个数;
将局部特征与对应的注意力权重相乘,得到可迁移特征;
采用以下公式计算整体迁移损失:
,其中,D2表示第二域判别器,Gdf表示多头注意力特征提取网络,gi表示样本xi的可迁移特征,di表示样本xi的域标签,Lentropy表示交叉熵损失函数,n为训练样本数量,Ds表示源域,Dt表示目标域;
采用以下公式计算所述基于注意力机制的域适应模型的整体损失:,其中σ为超参数, 为新增样本集中样本的损
失, 为当前任务中从经验学习库中提取的样本的平均损失, 为从经验学习库中提取的样本个数, 为样本xm的损失;
从所述经验学习库中提取部分样本与下一轮训练的新增样本集中的样本组成下一轮训练的训练样本集,包括:计算经验学习库中每个样本的损失先验概率: , 其中,Pu表示第u个样本的损失先验概率, 为样本yu的损失,ε为常数,u=1,2,…nh;nh为经验学习库中的样本数;
从经验学习库提取损失先验概率最大的M个样本与下一轮训练的新增样本集中的样本组成下一轮训练的训练样本集。