欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2016101394508
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-26
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于人工设计特征和深度学习特征自适应融合的红外行为识别方法,其特征在于:该方法包括以下步骤:S1:通过人工设计特征模块,对原始视频进行改进的密集轨迹特征提取;

S2:对步骤S1中提取到的人工设计特征进行特征编码;

S3:通过CNN特征模块,对原始视频图像序列,利用一种变分光流算法提取光流信息,得到对应光流图像序列,作为卷积神经网络的输入;

S4:利用卷积神经网络,对步骤S3中得到的光流图序列提取CNN特征;

S5:将数据集分为训练集和测试集;对训练集数据,通过权重优化网络学习权重,利用学习到的权重将CNN特征分类网络和人工设计特征分类网络的概率输出进行加权融合,通过对比识别结果得出最优权重,并将其应用于测试集数据分类。

2.根据权利要求1所述的基于人工设计特征和深度学习特征自适应融合的红外行为识别方法,其特征在于:在步骤S1中,所述对原始视频提取改进后的人工设计特征,具体包括:首先对每一帧红外图像进行兴趣点密集采样,然后在连续图像序列之间追踪兴趣点,在得到的轨迹描述子中加入轨迹对应图片位置灰度值权重,将加权后的轨迹描述子作为改进的密集轨迹特征。

3.根据权利要求1所述的基于人工设计特征和深度学习特征自适应融合的红外行为识别方法,其特征在于:在步骤S2中,所述的对提取的改进后密集轨迹特征进行编码,编码采用以下其中一种方式进行:

1):Bag-of-Words(BOW)

该特征编码方法包括两步步骤:

11)生成视觉词典:在训练集数据上提取特征,通过聚类算法对提取到的特征进行聚类;聚类中心可以看作是词典中的视觉词汇,所有视觉词汇形成一个视觉词典;

12)用词典中的词汇表示图像:图像中的每个特征都被映射到视觉词典的某个词上,然后统计每个视觉词在一张图像上的出现次数,即可将图像表示成一个维数固定的直方图向量;

2):Fisher Vector(FV)

Fisher Vector编码是一种基于Fisher核原理的编码方式,首先利用训练样本通过最大似然估计的方法训练出高斯混合模型(GMM),然后利用高斯混合模型对从样本中提取的原始特征(如Dense-Traj)进行建模,再利用生成的模型参数将样本的原始特征编码成便于学习和度量的Fisher向量;

3):Vector ofLocally Aggregated Descriptors(VLAD)VLAD编码首先对训练集上提取的特征进行聚类,得到码本,然后计算原始特征和码本中每个词的差距,并将这些差值进行累计,最后把所有词的累计差值进行拼接形成一个新的向量来表示图像。

4.根据权利要求1所述的基于人工设计特征和深度学习特征自适应融合的红外行为识别方法,其特征在于:在步骤S3中,所述的利用一种变分光流算法提取光流信息,得到对应光流图像序列,具体包括:S31:在亮度不变假设、梯度恒定假设和连续时空平滑约束条件下,提出改进的能量泛函;

S32:根据能量函数推导出其对应的Euler-Lagrange方程,然后利用Gauss-Seidel或SOR方法求出光流矢量,得到对应光流图。

5.根据权利要求1所述的基于人工设计特征和深度学习特征自适应融合的红外行为识别方法,其特征在于:在步骤S4中,对得到的光流图像序列,利用卷积神经网络,提取全连接层的输出作为CNN特征;CNN采用多层网络结构,卷积层和抽样层交替出现,网络输出层为前馈网络全连接方式。

6.根据权利要求1所述的基于人工设计特征和深度学习特征自适应融合的红外行为识别方法,其特征在于:在步骤S5中,所述将数据集分为训练集和测试集;利用训练集数据通过自适应融合模块学习得到最优权重,并将最优权重应用到测试集数据进行分类,具体包括:S51:利用训练集数据学习出最优权重:

自适应融合模块包括两个包含全连接层和softmax分类器层的分类网络和一个单节点逻辑函数;两个分类网络的输入分别是训练集数据的人工设计特征和CNN特征,两种特征输入到对应网络之后得到各自的概率输出P1和P2,同时利用单节点逻辑函数计算出对应的权重Q;最终根据指定权重对两个分类网络的概率输出进行加权融合,利用误差反向传播算法判断识别误差、更新梯度,判断并输出最优权重;

S52:将最优权重应用到测试集数据进行分类:

将测试集数据提取到的人工设计特征和CNN特征输入到对应分类网络,得到对应概率输出,利用S51中得到的最优权重加权融合两个分类网络的概率输出,得到测试集数据的识别结果。