欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020103065126
申请人: 中国矿业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多特征提取的图像语义描述方法,其特征在于,包括如下步骤:将待语义描述的图像输入全局特征提取模型得到图像的全局特征向量;

提取所述图像的属性特征向量;其中,属性特征包括图像的轮廓、纹理与位置信息;

将所述全局特征向量和属性特征向量同时输入到双向长短时记忆网络,得到前向联合损失函数和后向联合损失函数;

对所述前向联合损失函数和后向联合损失函数累加求和,当所述和最小时,获得与所述图像最佳匹配的语义描述。

2.根据权利要求1所述的方法,其特征在于,将所述图像输入属性特征提取模型提取得到图像的属性特征向量,所述属性特征提取模型通过如下步骤得到:建立属性特征提取基础模型,所述属性特征提取基础模型包括变更后的SSD网络、先验框模块和列向量最大化模块;

所述变更后的SSD网络以Resnet-50残差结构代替SSD网络的前置网络后得到;所述变更后的SSD网络包括特征提取层,所述特征提取层用于对输入图像进行特征映射获得特征图;

所述先验框模块,用于基于不同的特征图,设置不同尺寸的先验框,利用设置的所述不同尺寸的先验框获得对应特征图的属性检测矩阵;

所述列向量最大化模块,用于对所述属性检测矩阵进行列向量最大化,得到属性特征向量;

输入训练图像对建立的所述基础模型进行训练,得到所述属性特征提取模型。

3.根据权利要求2所述的方法,其特征在于,基于下述公式设置所述先验框的尺寸:其中,sk为先验框相对于图像所占的比例,smin和smax分别为先验框相对于图像所占比例的最大值和最小值,n为特征图的个数。

4.根据权利要求2或3所述的方法,其特征在于,所述将图像输入属性特征提取模型得到图像的属性特征向量,包括如下步骤:将图像输入属性特征提取模型:

基于特征提取层,获得所述图像的特征图;

基于先验框,获得所述特征图的属性检测矩阵;

基于列向量最大化模块,获得属性特征向量。

5.根据权利要求1所述的方法,其特征在于,所述将所述全局特征和属性特征同时输入到双向长短时记忆网络,得到前向联合损失函数和后向联合损失函数,具体包括如下步骤:基于所述全局特征向量和属性特征向量,获得预测单词;

将所述预测单词输入嵌入层得到预测单词向量xt;

将所述预测单词向量xt嵌入到文本LSTM,得到文本LSTM前向隐藏层序列 和文本LSTM后向隐藏层序列将所述文本LSTM前向隐藏层序列 和文本LSTM后向隐藏层序列 嵌入到多模态LSTM,得到多模态LSTM前向隐藏层序列 和多模态LSTM后向隐藏层序列基于所述多模态LSTM前向隐藏层序列 和多模态LSTM后向隐藏层序列 使用softmax函数得到最大概率对应的单词wt;

基于所述最大概率对应的单词wt得到前向联合损失函数和后向联合损失函数。

6.根据权利要求5所述的方法,其特征在于,所述得到文本LSTM前向隐藏层序列 和文本LSTM后向隐藏层序列 包括如下步骤:基于所述预测单词向量xt得到前向句子 和后向句子对所述前向句子 和后向句子 编码,得到文本STM前向隐藏层序列 和文本LSTM后向隐藏层序列

7.一种基于多特征提取的图像语义描述系统,其特征在于,包括:全局特征向量获取模块,用于将待语义描述的图像输入全局特征提取模型得到图像的全局特征向量;

属性特征向量获取模块,用于提取所述图像的属性特征向量;其中,属性特征包括图像的轮廓、纹理与位置信息;

联合损失函数获得模块,用于将所述全局特征向量和属性特征向量同时输入到双向长短时记忆网络,得到前向联合损失函数和后向联合损失函数;

语义描述获得模块,用于对所述前向联合损失函数和后向联合损失函数累加求和,当所述和最小时,获得与所述图像最佳匹配的语义描述。

8.根据权利要求7所述的系统,其特征在于,所述属性特征向量获取模块建立属性特征提取模型的步骤如下:建立属性特征提取基础模型,所述属性特征提取基础模型包括变更后的SSD网络、先验框模块和列向量最大化模块;

所述变更后的SSD网络以Resnet-50残差结构代替SSD网络的前置网络后得到;所述变更后的SSD网络包括特征提取层,所述特征提取层用于对输入图像进行特征映射获得特征图;

所述先验框模块,用于基于不同的特征图,设置不同尺寸的先验框,利用设置的所述不同尺寸的先验框获得对应特征图的属性检测矩阵;

所述列向量最大化模块,用于对所述属性检测矩阵进行列向量最大化,得到属性特征向量;

输入训练图像对建立的所述基础模型进行训练,得到所述属性特征提取模型。

9.根据权利要求7或8所述的系统,其特征在于,所述属性特征向量获取模块通过下述步骤获得属性特征向量:将图像输入属性特征提取模型:

基于特征提取层,获得所述图像的特征图;

基于先验框,获得所述特征图的属性检测矩阵;

基于列向量最大化模块,获得属性特征向量。

10.根据权利要求7所述的系统,其特征在于,所述联合损失函数获得模块通过下述步骤得到前向联合损失函数和后向联合损失函数:基于所述全局特征向量和属性特征向量,获得预测单词;

将所述预测单词输入嵌入层得到预测单词向量xt;

将所述预测单词向量xt嵌入到文本LSTM,得到文本LSTM前向隐藏层序列 和文本LSTM后向隐藏层序列将所述文本LSTM前向隐藏层序列 和文本LSTM后向隐藏层序列 嵌入到多模态LSTM,得到多模态LSTM前向隐藏层序列 和多模态LSTM后向隐藏层序列基于所述多模态LSTM前向隐藏层序列 和多模态LSTM后向隐藏层序列 使用softmax函数得到最大概率对应的单词wt;

基于所述最大概率对应的单词wt得到前向联合损失函数和后向联合损失函数。