1.一种图像序列目标检测和识别方法,其特征在于,该方法包括以下步骤:S1.输入待处理图像序列,截取含有目标对象的图像,计算该图像序列当前帧和相邻帧的光流场;
S2.根据光流场的运动向量计算相邻帧相对于当前帧的卷绕图像;
使用双线形插值计算卷绕图像,通过使用最近邻插值,兰索斯插值,双三次插值空间插值变换;
S3.将当前帧和相邻帧的卷绕图像分别输入卷积神经网络计算卷积特征地图;
S4.在得到当前帧和相邻帧的卷积特征地图后,进行卷积特征地图的融合,得到融合后的卷积特征地图:S5.根据融合后的卷积特征地图进行目标检测和识别,并输出检测和识别结果。
2.根据权利要求1所述的一种图像序列目标检测和识别方法,其特征在于:图像序列相邻帧是指当前帧的前K帧以及当前帧的后K帧,共2K帧,作为相邻帧,K为正整数,取值范围[1,20]。
3.根据权利要求1所述的一种图像序列目标检测和识别方法,其特征在于:步骤S4中的卷积特征地图的融合算法包括两种,其一为:通过公式(4)计算融合的卷积特征地图,需满足 关于权重wj的设置,按照正规化的高斯函数Gaussian(0,σ)来设置权重wj:
4.根据权利要求1所述的一种图像序列目标检测和识别方法,其特征在于:步骤S4第二种卷积特征地图的融合算法是,第2种融合算法提供基于卷积特征地图单元级别的权重,设卷积特征地图Fj是一个[w,h,depth]的张量,其中w,h表示卷积特征地图空间域的宽度和高度,depth表示通道数,此处的卷积特征地图单元是指空间域上的某个1x1xdepth维的向量;
对于第j帧的卷积特征地图位置p,使用系数weightMap[j][p]来设置权重;为了对不同卷积特征地图位置p,设置不同的权重weightMap[j][p],来计算融合卷积特征地图,此处要求有公式(5)成立:卷积特征地图Fj是一个[w,h,depth]的张量,通过嵌入式卷积神经网络进行变换处理;
该嵌入式网络结构如下:
(1)通过1x1xnc的卷积变换进行降维处理;
(2)然后进行3x3xnc的卷积变换;
(3)最后进行1x1xdepth的卷积变换恢复到原有的维度;
此处nc表示嵌入式网络降维的通道数,取值为2n(比如可取512),这样通过深度神经网络的学习算法,能够学习到该嵌入式网络的权重,该嵌入式网络可以对原有卷积特征地图Fj进行变换得到 使得变换后的卷积特征地图 更适合度量相邻帧的卷积特征地图单元之间的相似度;相邻帧j相对于当前帧i的卷积特征地图之间的相似度记为SimMap[j;i],相似度计算可使用两个向量之间的离散余弦距离、皮尔逊相关性、取相反数的欧式距离、取相反数的明可夫斯基距离来度量;
在计算出SimMap之后,对于每个位置p,可以使用SoftMax函数将SimMap相似度值归一化到[0,1]之间,得到weightMap,如公式(6)所示:weightMap[j][p]=SoftMax({SimMap[j;i][p]}),i-k≤j≤i+k (6)在计算得到weightMap后,则可以通过weightMap计算融合后的卷积特征地图,如公式(7)所示: