欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2022105371337
申请人: 武汉纺织大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于区域热点事件的服装流行趋势预测方法,其特征在于,包括如下步骤;

Step1,收集关于区域热点事件中相关的文本数据和图像数据,并同时将对应的图像和文本信息进行匹配;

Step2,对收集到的文本信息和图像数据进行预处理,预处理后输入至服装分类网络,没有对应文本信息匹配的图像送至服装分类网络中的A分支,将图像与对应匹配的文本信息送至服装分类网络的B分支;

所述A分支通过对没有文本信息辅助的纯图像数据进行多类别分类,B分支通过对具有文本信息的图像进行多类别分类;

A分支通过图像自助标记系统对服装进行分类,利用图像数据训练卷积神经网络模型,通过训练好的网络模型进行服装元素类别分类;

B分支利用基于多模态特征融合与图像注意力机制的多标注分类模型的框架进行多类别分类,具体包括以下子步骤;

S1,对获取到的文本信息进行注意力机制处理;

S2,通过卷积神经网络对图像进行特征提取得到图像特征,并进一步通过通道注意力机制和空间注意力机制处理得到新的图像特征;

S3,基于多模态特征融合将自注意力机制处理后的文本信息和新的图像特征进行融合后,再将多模态融合结果再次与新的图像特征相加,辅助图像进行多类别分类;

将A、B分支得到的分类结果汇总在一起按照时间内容进行排序,作为Step3的信息数据库,并通过目录文件记录图像与文本信息关系,方便Step3对信息数据库的检索;

Step3,将最新的图像和文本数据,以及从Step2中信息数据库中得到的文本信息和图像数据输入至流行趋势预测部分,利用流行趋势预测神经网络对特定区域热点事件的服装流行趋势进行预测。

2.如权利要求1所述的一种基于区域热点事件的服装流行趋势预测方法,其特征在于:步骤Step1中通过网络爬虫、人工收集、商家提供数据的方式对各大社交媒体网站与购物网站的文本信息和图像信息进行收集,所述相关的文本数据和图像数据包括与时间、季节、城市、热点事件、服装流行元素相关的文本数据和图像数据,运用收集到的文本信息对图像数据进行多类别标注,多类别标注包括时间、季节、城市、热点事件、服装流行元素。

3.如权利要求1所述的一种基于区域热点事件的服装流行趋势预测方法,其特征在于:A分支的处理过程如下;

首先通过卷积核对一段时间内所收集到的图像进行特征提取,将得到的特征图,先分别进行全局最大池化和平均池化得到只有通道维度的神经元,然后再分别将他们送入2层全连接网络对其降维再升维,再将得到的两个特征相加后通过Sigmoid函数计算每一个维度所占权重得到权重系数,最后,将权重系数与输入的特征相乘得到缩放后的新特征,其中权重系数表达计算式如下所示:Mc(G)=σ(pMLP(AvgPool(G))+(1‑p)MLP(MaxPool(G)))其中,G为输入的特征图,最后得到的注意力特征图为Mc,MLP表示全连接网络,σ表示Sigmoid操作,AvgPool表示平均池化,MaxPool表示最大池化,p表示概率因子;

再使用激活函数对提取到的特征图进行修正,最后通过分类器对服装进行分类,并将该图像整理到对应的文件存放处。

4.如权利要求1所述的一种基于区域热点事件的服装流行趋势预测方法,其特征在于:B分支中对获取到的文本信息进行注意力机制处理过程包括文本预处理、编码、注意力三个部分,其步骤如下:S11:文本预处理部分实现字符串的匹配,去除非文字符号;

S12:编码部分通过编码得到文本信息的特征向量;

S13:注意力部分通过对S12中输出的句子特征进行点积计算得到权重,然后通过Softmax函数对这些权重进行归一化并计算权重系数,最后,将权重系数与句子特征相乘得到新特征,获得文本信息中文本所关注的区域。

5.如权利要求1所述的一种基于区域热点事件的服装流行趋势预测方法,其特征在于:B分支中通过卷积神经网络对图像进行特征提取,通过通道注意力机制和空间注意力机制得到新的图像特征,其具体实现步骤如下:S21:将特征先通过通道注意力机制:先分别进行全局最大池化和平均池化得到只有通道维度的神经元,然后再分别将他们送入2层全连接网络对其降维再升维,再将得到的两个特征相加后通过Sigmoid函数计算每一个维度所占权重得到权重系数,最后,将权重系数与输入的特征相乘得到缩放后的新特征;

S22:对得到的新特征添加空间注意力机制:先分别进行全局最大池化和平均池化得到只有通道维度的神经元,再将得到的两个神经元按照通道拼接在一起后通过Softmax函数计算得到权重系数,最后,将权重系数与输入的特征相乘得到缩放后的新的图像特征。

6.如权利要求1所述的一种基于区域热点事件的服装流行趋势预测方法,其特征在于:B分支中,将自注意力机制处理后的文本信息和新的图像特征输入至Hadamard积低秩双线性模型中使文本特征与图像特征结合,实现多模态融合;

低秩双线性模型用来降低双线性权重矩阵Wi的秩,将双线性权重矩阵Wi替换为两个较T小的矩阵UiVi的乘积,其中 ,其中M,N表示矩阵

的行和列,且Wi的秩d≤min(N,M),fi表示为标量输出,计算公式为:T d

其中z表示单通道输入,z 表示z的转置,s表示为所有通道,1∈R 是一个全为1的向量,T∘是Hadamard积;其中U 是U的转置,而对于低秩双线性矢量输出向量f,引入一个池化矩阵P,实现低秩双线模型的池化,计算公式如下:对于特征图的每个通道用si来表示,则对于一个多通道的输入S则是由多个si组成的,使用单一的注意力网络将多个通道融合为单个通道,计算公式如下:其中α代表一个注意力分布,α的定义如下:

其中,softmax为概率函数,为了减少输入通道,引入了多重双线性注意图Ag,公式定义如下:通过注意力机制与文本特征和图像特征的矩阵乘法,得到文本与图像的特征联合表示向量,公式如下:其中 表示多模态融合向量的第k个元素;

将多模态融合的结果与新的图像特征相加,辅助图像进行多标注分类,即将经过注意力机制得到的新的图像特征与通过多模态融合结果进行连接,计算公式如下:其中V表示新的图像特征, 表示待分类的组合特征,MLP表示全连接网络, 表示多模态融合向量的第k个元素,re操作表示对某些相关向量无效化,h表示为概率因子。

7.如权利要求1所述的一种基于区域热点事件的服装流行趋势预测方法,其特征在于:Step3的具体实现过程如下;

将最新的图像和文本数据,以及从Step2中信息数据库中得到的文本信息和图像数据输入至服装流行趋势预测神经网络,输入部分表达式为:其中,服装流行趋势预测神经网络的输入由两部分组成,T热表示信息数据库中的文本信息, 表示最近时期所收集的与热点事件相关的文本信息, 表示最近时期所收集的与服装流行元素相关的文本信息,I文本表示输入的文本数据;G热表示信息数据库中的图像信息, 表示最近时期所收集的与热点事件相关的图像信息, 表示最近时期所收集的与服装流行元素相关的图像信息,I图像表示输入的图像数据;

将输入数据输入至流行趋势预测神经网络进行预测,流行趋势预测神经网络通过对输入的文本数据进行切词与去除停用词处理后,对其进行特征降维,得到结构化数据后,计算文本特征,最后通过聚类算法输出聚类结果;进一步地,流行趋势预测神经网络通过识别聚类结果,将信息数据库中对应标注内的服装图像与最近时期收集的相关图像输入至网络中,进行相似度比较,将相似度高的图像对应服装标注保留至下一层;最后,通过收集到的与服装流行元素相关的文本信息对来自上一层的服装标注进行加权计算,得到最终的输出结果。

8.一种基于区域热点事件的服装流行趋势预测系统,其特征在于,包括如下单元:数据收集单元,用于收集各大社交媒体网站和购物网站关于时间、季节、城市、热点事件、服装流行元素相关的文本数据和图像数据,并同时将对应的图像与文本信息进行匹配;

数据处理单元,用于对收集到的文本信息和图像进行预处理,没有对应文本信息匹配的图像送至服装分类单元的A分支,将图像与对应匹配的文本信息送至B分支;

服装分类单元对收集到的图像与文本信息进行特征提取,对相应的元素类别进行分类;

包括A分支和B分支,所述A分支通过对没有文本信息辅助的纯图像数据进行多标注分类,B分支通过对具有文本信息的图像进行多标注分类;

其中,A分支通过图像自助标记系统对服装进行分类,利用图像数据训练卷积神经网络模型,通过训练好的网络模型进行服装元素分类;

其中,B分支利用基于多模态特征融合与图像注意力机制的多标注分类模型的框架进行多标注分类,具体包括以下子步骤;

S1,对获取到的文本信息进行注意力机制处理;

S2,通过卷积神经网络对图像进行特征提取得到图像特征,并进一步通过通道注意力机制和空间注意力机制处理得到新的图像特征;

S3,基于多模态特征融合将注意力机制处理后的文本信息和新的图像特征进行融合后,再将多模态融合结果再次与新的图像特征相加,辅助图像进行多标注分类;

将A、B分支得到的分类结果汇总在一起按照时间内容进行排序,作为服装流行预测单元的信息数据库,并通过目录文件记录图像与文本信息关系,方便服装流行预测单元对信息数据库的检索;

服装流行预测单元,用于将最新的图像和文本数据,以及从信息数据库中得到的文本信息和图像数据输入至流行趋势预测部分,利用流行趋势预测神经网络对特定区域热点事件的服装流行趋势进行预测。