欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020102148935
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-26
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种用于美学质量评价的构图表征学习方法,其特征在于包括如下步骤:步骤(1)数据预处理

将所有数据集的图片经过调整尺寸和裁剪的操作缩放到统一大小;

步骤(2)特征提取及全连接图构建

分别对两个预训练的Mobilenet‑v2进行微调构成全局特征提取网络和构图特征提取网络,分别用来提取全局特征和构图特征;

利用提取出来的构图特征构建全连接图;

所述的微调是指用指定的训练集对Mobilenet‑v2进行训练,得到所需参数的指定网络;

步骤(3)全局特征与构图特征相融合

将提取出来的全局特征与构图特征输入门控单元进行特征融合,获取融合特征;

步骤(4)美学分数预测以及准确率度量

将融合特征输入美学评价模块得到美学质量分数,与数据集中原有的人工评分进行比较,计算美学质量分数的准确率;

步骤(1)所述的数据预处理:

1‑1AVA数据集是一个包含25万多张图片的大型美学数据集,我们按照标准数据集划分方法,随机取80%的图片作为训练集,其余20%的数据集作为测试集;

1‑2对图片进行预处理时先将图片缩放到256*256大小,然后对图片进行随机裁剪,大小变为224*224;

为防止过拟合,对训练集图片进行数据增强,所有图片进行随机水平翻转;

步骤(2)所述的特征提取及全连接图构建:

2‑1分别对两个预训练的Mobilenet‑v2进行微调构成全局特征提取网络和构图特征提取网络用来进行特征提取;

将整张图片分别输入全局特征提取网络和构图特征提取网络,分别得到全局特征F1和

7×7×1280

构图特征F2,F1,F2∈R ;

2‑2全连接图的构建如下:把构图特征提取网络输出的构图特征F2中,设每个位置Xi视为一个节点, 其中i=1,2…,N;Xi位置对应的特征向量为节点特征;任意节点特征之间的余弦相似性视为边;该边的信息即图片的构图特征;对全局特征提取网络输出的全局特征F1进行全局池化,得到池化后包含全局信息的全局特征;

所述的全局特征F1和构图特征F2均为7*7的矩阵,矩阵中的每个位置作为节点;

所述的构图特征提取网络的输出的构图特征F2有N=W×H个位置,其中W和H的取值均为

7;

所述的任意节点特征之间的余弦相似性的计算如下:其中,ei,j代表连接节点i,j的边;边的集合为 节点的集合和边的集合构成全连接图;

所述的对全局特征F1进行全局池化的实现如下:所有的节点特征 进行平均池化得到全局特征 其中,xi是指全局特征F1的矩阵中第i个位置的特征。

2.根据权利要求1所述的一种用于美学质量评价的构图表征学习方法,其特征在于步骤(3)所述的全局特征与构图特征相融合:对池化后的全局特征u和构图特征e,分别赋予不同的权重值,具体实现如下:将池化后的全局特征u和构图特征e分别经过池化操作得到均值A1,A2,标准差S1,S2,h最大值max1,max2,最小值min1,min2;将得到的8个特征值级联起来得到特征向量F,F∈R ,h表示级联之后输出的向量长度,长度值为8;将特征向量F输入门控单元;

所述特征向量F在门控单元内的实现如下:

64

特征向量F先经过一层全连接层得到特征向量FC1,FC1∈R 再经Tanh激活函数,然后经2

过一层全连接层得特征向量FC2,FC2∈R ,FC2再经过一层Sigmoid得到两个特征值α,β;特征值α,β分别为通过门控单元学习到的全局特征u和构图特征e的权重;将全局特征与构图特征分别与各自权重相乘再级联得到融合特征,即αu⊕βe;

所述的特征值级联的顺序为:A1,A2,S1,S2,max1,max2,min1,min2。

3.根据权利要求2所述的一种用于美学质量评价的构图表征学习方法,其特征在于步骤(4)所述的美学分数预测以及准确率度量:

4‑1将得到的融合特征输入美学评价模块,该美学评价模块包含两个全连接层和一个Softmax层,输出向量a=[a1,a2,…,a10],其中,k的取值是1‑10的自然数;原图片的最终得分为 原图片的人工得分为 ak和pk分别表示预测得分和实际得分为k的概率;

4‑2损失函数选择EMDLoss, 其中p代表图片真实的美学分数分布;CDF()代表累积分布函数;当损失函数约束预测值越靠近真实值,预测结果越准确;

4‑3将预测分数S与实际分数P相比较,计算二者的皮尔逊相关系数和斯皮尔曼相关系数,结果比目前最优分别高出0.242和0.238;准确率比目前最优结果高出2%。