1.一种基于风格重校准和改进孪生网络的红外弱小目标跟踪方法,其特征在于,包括:步骤1:选取待跟踪红外图像序列中的第一帧图像作为模板帧图像,依据模板帧图像的标签获取当前红外弱小目标的位置及其宽高;对模板帧图像进行预处理;对处理后的图像使用侧窗滤波进行保边降噪,将滤波后的模板帧图像输入红外弱小目标跟踪模型的孪生网络模块进行特征提取,得到该模板帧图像的特征图;将模板帧图像的特征图载入到多次项优化的SRM模块进行特征融合,得到模板帧图像的融合特征图,其中所述SRM模块为SRM模型与多次项相乘;
步骤2:依次加载待跟踪红外图像序列中除第一帧以外的第T帧图像作为检测帧图像,T为大于1的整数;对检测帧图像进行预处理,并通过侧窗滤波对检测帧图像进行保边降噪,将侧窗滤波后的检测帧图像输入红外弱小目标跟踪模型,通过所述孪生网络模块,提取到检测帧图像的特征图,再将所述检测帧图像的特征图载入所述SRM模块,得到检测帧图像的融合特征图;
步骤3:将所述检测帧图像的融合特征图与所述模板帧图像的融合特征图输入红外弱小目标跟踪模型中的RPN模块,生成宽高比为1的anchor对检测帧图像上的红外弱小目标进行检测;获得检测帧图像检测到的红外弱小目标的预测框,确定输出当前检测帧图像中红外弱小目标的位置及尺寸大小;
步骤4:判断当前检测帧图像是否为红外弱小目标序列的最后一帧;若当前检测帧图像为最后一帧,则完成红外弱小目标跟踪;若否,则返回执行步骤2到步骤3,直至检测至最后一帧图像,完成跟踪。
2.根据权利要求1所述的一种基于风格重校准和改进孪生网络的红外弱小目标跟踪方法,其特征在于,所述步骤1包括:步骤101:读取红外图像序列的第一帧图像作为模板帧z;
步骤102:依据模板帧图像的标签,计算出跟踪目标的中心坐标以及宽高,并依据跟踪目标的中心坐标和宽高形成框;将该框作为待跟踪目标图像区域,将待跟踪目标图像区域作为跟踪目标的初始位置;将所述框的宽高扩大两倍后进行模板裁剪;当跟踪目标处于边缘位置时,跟踪目标所对应的框超出搜索区域的范围,将超出搜索区域的部分采用全局图像像素的均值进行填充;将裁剪填充后的图像进行侧窗滤波处理,重新形成尺寸放大的模板帧图像;
步骤103:将处理后的模板帧图像载入红外弱小目标跟踪模型中,首先利用Alexnet提取模板图像深度特征,再将提取到的特征载入SRM模块,并通过模板帧图像初始化所述模型的参数;
步骤104:依据红外弱小目标跟踪模型生成anchor,anchor中心点的位置范围固定,其位置由模板帧图像的特征图决定;将生成的anchor映射回模板帧图像,对每个中心点位置生成固定数量的对应的anchor;引入由汉宁窗形成的高斯矩阵的余弦窗,在目标原始像素上乘所述余弦窗,使接近边缘处的像素值接近为0,减小边缘像素对目标的影响,突出目标位置。
3.根据权利要求2所述的一种基于风格重校准和改进孪生网络的红外弱小目标跟踪方法,其特征在于,所述步骤2包括:提取红外图像序列的第T帧图像作为检测帧X,依据模板帧中目标的位置信息确定检测帧中目标的检测区域,将确定的检测区域的宽高进行两倍扩大后模板裁剪;当跟踪目标处于边缘位置时,目标所对应的框超出检测区域的范围,结合模板帧确定的目标的信息将超出检测区域的部分采用全局图像像素的均值进行填充;将裁剪填充后的图像进行侧窗滤波,形成固定大小的检测帧图像,将固定大小的检测帧图像载入被模板帧初始化过的模型,利用Alexnet提取深度特征,将提取到的特征载入所述SRM模块,得到检测帧图像的融合特征图。
4.根据权利要求1所述的一种基于风格重校准和改进孪生网络的红外弱小目标跟踪方法,其特征在于,所述侧窗滤波包括:选取滤波窗口的八个方向,即上、下、左、右、东北、东南、西北以及西南进行处理;其中,前四个方向将待处理的像素置于滤波窗口的某条边上,后四个方向将待处理的像素置于滤波窗口的某个角上;给定像素 ,滤波核为F,得到侧窗滤波的结果为:;其中, 表示像素 所在滤波窗口的输入图像, 表示滤波
窗口半径,表示像素 位于窗口的方位,存在二种取值 ,为 时表示像素位于窗口的某条,取 时表示像素 位于窗口的某个角,表示滤波窗口方向,存在四种取值,与 的不同组合构成八种可能的窗口方向;
滤波过程中,为保留边缘信息,最小化输入和输出之间的差距,选择与输入 具有最小欧式距离的输出 作为最终滤波结果: ;为最终滤波结果;
当前帧图像完成侧窗滤波的检测后,选择最终滤波结果对应方向的滤波输出作为下一帧图像侧窗滤波的输入。
5.根据权利要求1所述的一种基于风格重校准和改进孪生网络的红外弱小目标跟踪方法,其特征在于,所述SRM模块为SRM模型与多次项进行非线性增强后的模块,其过程为:;
其中,X表示特征提取后的特征图, 表示经过SRM模块处理后的融合特征图,a、b、c为超参数;
表示SRM模型为: ;
其中, 表示全局平均池化操作, 表示标准差池化, 表示卷积核大小为2的卷积操作,BN表示归一化处理,表示sigmoid函数,进行激活操作。
6.根据权利要求1所述的一种基于风格重校准和改进孪生网络的红外弱小目标跟踪方法,其特征在于,利用所述RPN模块的分类分支和回归分支对输入的检测帧图像的融合特征图和模板帧图像的融合特征图分别进行互相关;根据所述RPN模块的两个分支输出的特征图,分别获取分类分支输出的每个anchor的分类分数以及回归分支输出的每个anchor的回归参数;根据对应的回归参数对分类参数不为0的anchor进行调整;定义惩罚因子,对分类分数不为0的anchor进行归一化处理得到其分类概率,利用惩罚因子和余弦窗口对anchor的尺度比例及位移变化进行抑制,选出在尺度和位移上都受到抑制的anchor;根据分类概率,得到该检测帧图像上最大前景分类索引值;根据最大前景分类索引值找到对应的anchor,结合上一帧输出的目标的宽高得到当前检测帧图像中的红外弱小目标预测框。
7.根据权利要求6所述的一种基于风格重校准和改进孪生网络的红外弱小目标跟踪方法,其特征在于,利用所述RPN模块的分类分支和回归分支对输入的检测帧图像的融合特征图和模板帧图像的融合特征图分别进行互相关为:;
;
其中, 表示检测帧图像的融合特征图; 表示模板帧图像的融合特征图;
cls为RPN模块的分类分支,reg为RPN模块的回归分支; 表示通过分类分支后得到的宽为w,高为h,通道数为2K的特征图; 表示通过回归分支后得到的宽为w,高为h,通道数为4K的特征图;K表示特征图中anchor的数量;2分别表示前景和背景,即anchor的分类分数;4分别表示横坐标偏移量、纵坐标偏移量以及宽偏移量和高偏移量,即anchor的回归参数;*表示卷积操作,即互相关。
8.根据权利要求7所述的一种基于风格重校准和改进孪生网络的红外弱小目标跟踪方法,其特征在于,所述根据对应的回归参数对分类参数不为0的anchor进行调整包括:; ;
; ;
其中,i,j代表当前帧图像中对应框的位置,表示anchor的宽高比的编码,分别表示根据回归参数调整后的anchor的中心点坐标及宽高, 分别代表anchor的中心点坐标及宽高,
为获取的回归参数; 为底数求解惩罚因子。
9.根据权利要求8所述的一种基于风格重校准和改进孪生网络的红外弱小目标跟踪方法,其特征在于:所述定义惩罚因子,对分类分数不为0的anchor进行归一化处理得到其分类概率,利用惩罚因子和余弦窗口对anchor的尺度比例及位移变化进行抑制,选出在尺度和位移上都受到抑制的anchor根据分类概率,得到该检测帧图像上最大前景分类索引值包括:根据模板帧图像中目标的宽高以及当前帧图像中anchor的宽高定义惩罚因子为:,其中,为当前帧图像anchor的高和宽的比值,即
, 为模板帧图像中小目标的高和宽的比值, 为超参数,为底数求解惩罚因子, 为预测框的整体比例, 为模板帧图像中小目标宽高的整体比例,且;表示宽和高的平均值,即 ;
将所述分类分支得到的anchor的分类分数输入softmax函数对分类分数的前景值进行归一化处理,得到N个和为1的数,代表每个anchor的分类概率,其中N为当前检测帧特征图上anchor的数量;
将归一化处理后的分类分数与惩罚因子相乘得到惩罚后的N个anchor的分类概率;将惩罚后的分类概率 与余弦窗结合,得到N个anchor分类结果的最终分数 : ;其中,
为余弦窗的影响因子,window为余弦窗;n=1,2,...,N;
得到的最终分数 中,选择最大的 作为最大前景分类索引
值。
10.根据权利要求9所述的一种基于风格重校准和改进孪生网络的红外弱小目标跟踪方法,其特征在于,所述根据最大前景分类索引值找到对应的anchor,结合上一帧输出的目标的宽高得到检测帧图像中的红外弱小目标预测框包括:根据惩罚因子和获得最大分数的分类结果定义红外弱小目标预测框的学习率 :
;
其中,index为最大前景分类索引值,penalty为惩罚因子, 为最大前景分类的最终分数, =0.3,为超参数;
根据最大前景分类索引值找到对应anchor,结合上一帧输出的目标的宽高得到检测帧图像中的红外弱小目标预测框: ;
;
其中, 指上一帧图像输出目标的宽和高; 指当前帧图像最大分类索
引值对应的回归参数;W、H为当前帧图像输出的预测框的宽高。