欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021102925416
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于条件嵌入预训练语言模型的图像标题生成方法,其特征在于包括以下步骤:

步骤(1)使用目标检测方法Faster RCNN对图像进行目标检测,并将检测结果作为构建图像的关键词集合,将关键词集合和特殊字符组成输入序列,输入序列通过词嵌入的方式进行输入,构建关键词嵌入网络KEN;

步骤(2)使用预训练的图像提取模型ResNet对图像进行特征提取,构建特征编码网络;

对图像进行编码,将编码结果通过条件嵌入的方式进行输入,构建视觉嵌入网络VEN;

步骤(3)针对预训练语言模型,transformer中的LN层已有现成的、无条件的g和b,且g和b用于对特征施加增益和偏置操作时,都是固定长度的向量;通过VEN将图像编码为g',b';

g',b'跟g,b具有相同的维度,将VEN的编码结果g',b'分别加到g和b上去,构建条件嵌入归一化层CELN;

步骤(4)将KEN和VEN的编码结果分别作为预训练语言模型的序列输入和条件嵌入;用CELN替换UNILM的transformer中所有的LN层,构建CE‑UNILM模型;

步骤(5)对CE‑UNILM模型进行训练,挑选最优训练模型;将图片输入训练好的CE‑UNILM模型,输出对应的图像标题;

所述步骤(3)具体实现过程如下:

3‑1计算特征x在LN层的归一化统计量均值μ和方差σ,特征x通过均值μ和方差σ,可以得到归一化后的特征值为x',如公式(5)所示:其中,ε是一个很小的小数,防止除0;

3‑2在LN中需要一组参数来保证归一化操作不会破坏之前的信息,在LN中这组参数叫做增益g和偏置b,LN的输出如公式(6)所示;

fLN(x')=g☉x'+b (6)合并公式(5),(6),LN层最终输出,如公式(7)所示;

3‑3对于transformer来说,已经有现成的、无条件的g和b了,它们都是长度固定的向量;VEN将图像特征编码到跟g和b一样的维度,然后将两个编码结果g'和b'分别加到g和b上去如公式(8)(9)所示;

3‑4通过CELN获得新特征为 计算过程如公式(10)所示;

其中,μ和σ是分别是均值和方差;

步骤(4)所述具体实现过程如下:

4‑1将KEN作为预训练语言模型UNILM的输入,VEN的结果作为预训练语言模型UNILM的条件输入,用CELN替换UNILM中transformer的所有的LN层;

4‑2将步骤4‑1中KEN、VEN以及加入了CELN的UNILM模型进行组合,构建CE‑UNILM模型。

2.根据权利要求1所述的一种基于条件嵌入预训练语言模型的图像标题生成方法,其特征在于所述步骤(1)具体实现过程如下:

1‑1使用在Visual Genome数据集上预训练的Faster RCNN对图像进行目标提取;

Faster RCNN能够获得目标类别以及相应目标在图像中的区域;为了用于图像标题生成任务,取模型最终类别输出并得到关键词集合W={w1,w2,…,ws};其中,ws是通过目标检测算法对图像提取的类别如公式(1)所示;

W=Faster RCNN(I) (1)

1‑2获取关键词集合W后,将W和三个特殊标记组合为输入序列S;三个特殊标记分别为:[CLS]、[SEP]和[STOP];其中[CLS]放在第一个关键字之前,要在句子A之前加[CLS]标志;

[SEP]用于分开两个输入句子,在句子A后面且句子B前面增加[SEP]标志;[STOP]放在句子结束,表示句子结束,在句子A后面加[STOP]标志;

1‑3将步骤1‑1中目标检测所获得的类别ws进行编码,维度为768;若N为输入序列S的最终序列长度,则S的维度为768*N。

3.根据权利要求2所述的一种基于条件嵌入预训练语言模型的图像标题生成方法,其特征在于所述步骤(2)具体实现过程如下:

2‑1基干网络使用在ImageNet上预训练的ResNet模型,获得对应图像I的图像特征Iresnet,其维度为2048维,如公式(2)所示;

Iresnet=ResNet(I) (2)

2‑2采用双通道结构,每个通道上图像特征Iresnet经过两层512维的全连接操作以及两层Swish激活函数,然后升维到768维,最终表达如公式(3)(4)所示;

g'=fVEN‑DC1(Iresnet) (3)b'=fVEN‑DC2(Iresnet) (4)其中,fCEN‑DC1和fCEN‑DC2分别代表两个不同的通道;由于图像特征Iresnet在训练过程中,两列参数的调整逐渐不同,所以最终产生的g'和b'也不相同。

4.根据权利要求3所述的一种基于条件嵌入预训练语言模型的图像标题生成方法,其特征在于步骤(5)所述具体实现过程如下:

5‑1进行端到端的训练,epoch设置为10,学习率为0.00001,batch size为16,使用Adam优化器渐进式的调整学习率;在推理短语中,使用波束搜索,波束大小为3;利用标准的交叉熵损失来训练模型,公式(11)所示;

其中,y1:t为给定的真实描述,θ为模型参数;

5‑2将测试图像输入到CE‑UNILM模型中,获得图像标题。