欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021104262520
申请人: 合肥学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于正则化约束的半监督行人重识别方法,其特征在于,包括:对行人重识别模型进行训练,所述行人重识别模型包括结构完全相同的第一神经网络和第二神经网络;

将待识别图像输入第一神经网络或者第二神经网络进行行人重识别;

其中,行人重识别模型的训练过程包括:

(1)将有标签图像数据和无标签图像数据同时输入第一神经网络和第二神经网络;

(2)基于有标签图像数据输入第一神经网络后的输出结果计算第一神经网络输出值的第一约束函数,基于有标签和无标签图像数据中的同一张图像输入第一神经网络和第二神经网络的输出结果一致为第一神经网络输出值的第二约束函数;

(3)基于第一约束函数和第二约束函数对第一神经网络进行参数更新,并即时基于更新后的第一神经网络参数更新第二神经网络参数;

(4)重复(1)‑(3)直至(2)中的第一约束函数和第二约束函数的融合结果满足收敛条件,完成行人重识别模型训练;

所述第一约束函数获取方法包括:

对于每个有标签图像 在有标签图像数据集中随机选择一个同类标签的样本 和一个不同类标签的样本 组成一个三元训练样本;

基于一个三元训练样本输入到第一神经网络后获得输出

基于输出的 趋向于与 一致同时趋向于与 不一致为约束条件,获得三元组损失函数L1;

基于 和有标签图像 的标签数据 计算得到交叉熵损失函数L2;

基于有标签图像 输入到第一神经网络后获得输出 时的网络权重参数θ的矩阵与正交矩阵的损失值计算得到第一正交约束函数LOW;

基于有标签图像 输入到第一神经网络过程中全部隐藏层输出的隐藏特征矩阵与正交矩阵的损失值计算得到第二正交约束函数LOF;

基于三元组损失函数、交叉熵损失函数、第一正交约束函数、第二正交约束函数进行加权和得到第一约束函数 为:其中, 表示有标签图像, 表数无标签图像, 表示有标签图像 在第一神经网络权重参数为θ的情况下输入到第一神经网络得到的输出结果, 表示无标签图像 在第一神经网络权重参数为θ的情况下输入到第一神经网络得到的输出结果,表示有标签图像 在第二神经网络权重参数为θ′的情况下输入到第二神经网络得到的输出结果, 表示无标签图像 在第一神经网络权重参数为θ′的情况下输入到第二神经网络得到的输出结果,βtr,βOF,βOW是超参数;

所述基于有标签和无标签图像数据中的同一张图像输入第一神经网络和第二神经网络的输出结果一致为第一神经网络输出值的第二约束函数,第二约束函数LE为:其中,(h,w)表示图像的每个像素点。

2.根据权利要求1所述的于正则化约束的半监督行人重识别方法,其特征在于,所述第一正交约束函数获取方法包括:基于第一神经网络的每层权重参数作为一个向量,基于第一神经网络的所有层权重参数获得一个格拉姆矩阵F,基于格拉姆矩阵F乘格拉姆矩阵的转置趋向于与拉姆矩阵的转置乘以格拉姆矩阵为约束条件得到第一正交约束函数LOW为:其中,η、λ1、λ2为系数。

3.根据权利要求1所述的于正则化约束的半监督行人重识别方法,其特征在于,所述第一神经网络和第二神经网络对输入的图像数据的处理过程一致,包括:将图像数据输入第一卷积层网络得到第一图像特征图,每个所述卷积层中加入了权重正交化层;

基于第一图像特征图依次输入第一注意力层和隐藏特征正交化层后输入第二卷积层网络得到第二图像特征图,所述第一注意力层用于将第一图像特征图的相似通道组合;

基于第二图像特征图输入到第三卷积层网络,所述第三卷积层网络中包括1个卷积层、

1个隐藏特征正交化层、1个第一注意力层和隐藏特征正交化层组合层、1个第二注意力层和隐藏特征正交化层组合层,所述1个卷积层通过1个隐藏特征正交化层分别连接1个第一注意力层和隐藏特征正交化层组合层和1个第二注意力层和隐藏特征正交化层组合层,所述1个隐藏特征正交化层、1个第一注意力层和隐藏特征正交化层组合层、1个第二注意力层和隐藏特征正交化层组合层的输出进行融合后,输入到1个隐藏特征正交化层,并经过全局平均池化层获得第一特征向量,其中第二注意力层用于对输入该注意力层的特征图中语义相关的像素点进行整合;

基于第二图像特征图输入到第四卷积层网络获得第二特征向量,所述第四卷积层网络包括1个卷积层和1个全局平均池化层;

基于第一特征向量和第二特征向量输入分类层网络获得图像识别结果。

4.根据权利要求1所述的于正则化约束的半监督行人重识别方法,其特征在于,所述步骤(3)中,基于第一约束函数和第二约束函数对第一神经网络进行参数更新采用随机参数下降法,基于更新后的第一神经网络参数更新第二神经网络参数采用如下公式:θ′t=αtθ′t‑1+(1‑αt)θt,其中, t为当前迭代轮次。

5.根据权利要求1所述的基于正则化约束的半监督行人重识别方法,其特征在于,所述行人重识别模型的训练过程中,包括预训练和再调整过程,其中预训练包括对部分网络层进行第一预设轮次的训练,再调整过程基于预训练的结果对全部网络层进行模型调整训练,其中第一预设轮次的训练过程中第一约束函数 中的超参数βOF,βOW置0。

6.基于正则化约束的半监督行人重识别装置,其特征在于,包括:模型训练模块,用于对行人重识别模型进行训练,所述行人重识别模型包括结构完全相同的第一神经网络和第二神经网络;

行人重识别单元,用于将待识别图像输入第一神经网络或者第二神经网络进行行人重识别;

其中,模型训练模块包括:

样本输入单元,用于将有标签图像数据和无标签图像数据同时输入第一神经网络和第二神经网络;

模型约束函数计算单元,用于基于有标签图像数据输入第一神经网络后的输出结果计算第一神经网络输出值的第一约束函数,基于有标签和无标签图像数据中的同一张图像输入第一神经网络和第二神经网络的输出结果一致为第一神经网络输出值的第二约束函数;

模型权重参数更新单元,用于基于第一约束函数和第二约束函数对第一神经网络进行参数更新,并即时基于更新后的第一神经网络参数更新第二神经网络参数;

模型权重参数迭代更新单元,用于重复样本输入单元、模型约束函数计算单元和模型权重参数更新单元直至模型约束函数计算单元中的第一约束函数和第二约束函数的融合结果满足收敛条件,完成行人重识别模型训练;

所述第一约束函数获取方法包括:

对于每个有标签图像 在有标签图像数据集中随机选择一个同类标签的样本 和一个不同类标签的样本 组成一个三元训练样本;

基于一个三元训练样本输入到第一神经网络后获得输出

基于输出的 趋向于与 一致同时趋向于与 不一致为约束条件,获得三元组损失函数L1;

基于 和有标签图像 的标签数据 计算得到交叉熵损失函数L2;

基于有标签图像 输入到第一神经网络后获得输出 时的网络权重参数θ的矩阵与正交矩阵的损失值计算得到第一正交约束函数LOW;

基于有标签图像 输入到第一神经网络过程中全部隐藏层输出的隐藏特征矩阵与正交矩阵的损失值计算得到第二正交约束函数LOF;

基于三元组损失函数、交叉熵损失函数、第一正交约束函数、第二正交约束函数进行加权和得到第一约束函数 为:其中, 表示有标签图像, 表数无标签图像, 表示有标签图像 在第一神经网络权重参数为θ的情况下输入到第一神经网络得到的输出结果, 表示无标签图像 在第一神经网络权重参数为θ的情况下输入到第一神经网络得到的输出结果,表示有标签图像 在第二神经网络权重参数为θ′的情况下输入到第二神经网络得到的输出结果, 表示无标签图像 在第一神经网络权重参数为θ′的情况下输入到第二神经网络得到的输出结果,βtr,βOF,βOW是超参数;

所述基于有标签和无标签图像数据中的同一张图像输入第一神经网络和第二神经网络的输出结果一致为第一神经网络输出值的第二约束函数,第二约束函数LE为:其中,(h,w)表示图像的每个像素点。

7.一种终端,其特征在于,所述终端包括处理器和存储器,所述存储器中存储有至少一条程序代码,所述至少一条程序代码由所述处理器加载并执行以实现如权利要求1至5中任一项权利要求所述的基于正则化约束的半监督行人重识别方法。

8.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行以实现如权利要求1至5中任一项权利要求所述的基于正则化约束的半监督行人重识别方法。