欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2023103933828
申请人: 南通大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2025-02-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于全局和局部特征联合约束的跨模态地点识别方法,其特征在于,包括以下步骤:步骤1、分别输入1张彩色图像和红外图像到GLFC-Net网络模型中;

步骤2、利用ResNet50网络和局部分支模块,将步骤1中输入的两种模态的图像生成富含全局性和局部性的共享特征;

步骤3、从富含全局性的共享特征中提取对应的全局特征;

步骤4、从富含局部性的共享特征中提取对应的局部特征;

步骤5、对步骤3获得的全局特征与步骤4获得的局部特征进行全局级别和局部级别联合约束;

步骤6、若达到指定的训练轮数,则结束;否则继续完成训练,返回步骤1;

所述步骤2包括以下步骤:

步骤2-1:将彩色图像和红外图像输入网络,分别通过一层卷积操作,得到彩色模态和红外模态的浅层特征和步骤2-2:将和同时输入由ResNet50后四层的卷积层和局部分支模块组成的网络中,分别生成两种模态的全局共享特征和局部共享特征步骤2-3:输出全局共享特征和局部共享特征所述步骤2中,在ResNet50的四个卷积层内的第三个卷积层后嵌入局部分支模块,全局共享特征的提取则是经过ResNet50的四个卷积层操作,组合为步骤2-2的提取全局共享特征和局部共享特征的网络;所述局部分支模块是由多个空洞卷积模块和残差自我注意力模块组成;

所述步骤3包括以下步骤:

步骤3-1:将全局共享特征和进行全局平均池化,得到富含全局性的准全局特征和步骤3-2:将和输入BN层,生成最终的全局特征和

步骤3-3:输出全局特征和所述多个空洞卷积模块执行步骤如下:步骤S1:将ResNet50前三层进行卷积操作所获得的全局共享特征进行全局平均池化;

步骤S2:将步骤S1所得到的特征进行卷积操作;

步骤S3:将步骤S2所得到的特征进行激活操作;

步骤S4:将ResNet50前三层进行卷积操作所获得的全局共享特征分别进行三个空洞卷积操作;

步骤S5:将步骤S3,步骤S4所获得特征拼接起来;

步骤S6:将步骤S5所得到的特征进行卷积操作;

步骤S7:将步骤S6所得到的特征进行激活操作;

所述残差自我注意力模块执行步骤如下:

步骤a:将多个空洞卷积模块得到的特征fMulti-Atrous分别进行三个卷积操作得到fQuery,fKey,fValue;

步骤b:将fQuery和fKey相乘后进行Softmax操作得到特征步骤c:将和fValue相乘得到特征f;

步骤d:将f进行卷积操作得到特征f';

步骤e:将f'输入BN层与fMulti-Atrous相加得到最后的局部共享特征和所述步骤4包括以下步骤:步骤4-1:将局部共享特征和进行平均池化,得到富含局部性的准局部特征和步骤4-2:将和输入BN层,生成最终的局部特征和

步骤4-3:输出局部特征和

所述步骤5中的全局级别和局部级别联合约束由全局级别约束损失、局部级别约束损失组成;全局级别约束损失和局部级别约束损失基于VPR任务的困难三元组损失和交叉熵损失以及受到跨模态行人再识别启发的异质中心损失;

所述基于VPR任务的困难三元组损失和交叉熵损失,困难三元组损失考虑两种不同模态,并增加了困难采样的过程,并且会对两种模态的困难样本进行困难采样,从中选出最难匹配的正样本对、最容易匹配的负样本对,进而计算出损失;而异质中心损失是拉近类内两个模态中心的距离,减少类内交叉模态的变化,从而提高类内跨模态的特征相似度,进而计算出损失;采用欧式距离的方式,度量两个特征向量之间的距离,如公式(1)所示:D(f1,f2)=||f1-f2||2      (1)其中,f1和f2代表地点图像的特征向量;

设在训练集中选取P个不同的地点,从每个地点中再随机选取K张彩色地点图像和K张红外地点图像,每一个批次的训练就有2PK张地点图像;对于VI-VPR任务的困难三元组损失如公式(2)所示:其中,f为特征向量集合,为锚点地点图像的特征向量,且是两种模态地点图像的集合,是彩色模态或红外模态的正样本地点图像的特征向量,和具有相同的地点地标,是彩色模态或红外模态的负样本地点图像的特征向量,和不具有相同的地点地标;当困难正样本对间的欧式距离与α之和小于困难负样本对之间的欧氏距离时,锚点地点图像能够与该批次中所有的地点图像正确匹配;其中,α代表人为设定的阈值参数;

当采用交叉熵损失,设在训练集中选取P个不同的地点,从每个地点中再随机选取K张彩色地点图像和K张红外地点图像,每一个批次的训练就有2PK张地点图像;针对VI-VPR任务的交叉熵损失如公式(3)所示:其中,f代表特征向量集合,p(yi|fi)表示特征向量fi被模型预测为yi的概率,由softmax函数编码;

当采用异质中心损失,设在训练集中选取P个不同的地点,从每个地点中再随机选取K张彩色地点图像和K张红外地点图像;针对VI-VPR任务的异质中心损失如公式(4)所示:其中,ci,RGB和ci,IR代表第i个地点两个模态特征分布的中心,f代表特征向量集合,fRGB和fIR分别代表彩色图像特征向量集合和红外图像特征向量集合,fi,RGB,j和fi,IR,j代表第i个地点的第j张地点图像的两个模态特征向量;

所述全局级别约束损失是基于VI-VPR任务的困难三元组损失和交叉熵损失,约束全局特征;全局级别约束损失利用了步骤3-1的准全局特征和以及步骤3-3的全局特征和其表达式如公式(5)所示:所述局部级别约束损失是基于VI-VPR任务的异质中心损失和交叉熵损失,约束局部特征;局部级别约束损失利用了步骤4-1的准局部特征和以及步骤4-3的局部特征和其表达式如公式(6)所示;

全局特征和局部特征联合约束,最终结合了全局级别损失、局部级别损失,如公式(7)所示;

LGL=LGlobal+LLocal (7)

其中,LGlobal为全局级别约束损失,LLocal为局部级别约束损失。