1.一种基于多模态交叉融合图网络的会话社交推荐方法,其特征在于:构建目标用户ui的社交网络G,令:G={U,E}
其中,U表示社交网络中目标用户ui的朋友集合,E是目标用户的社交连接;
使用长短期记忆网络生成不同模态空间下的会话向量表征,目标用户当前会话向量表征即是用户兴趣向量表征;构建用户会话向量表征,任一会话表示为S={v1,v2,…,vn};其中vj是会话中第j个物品;构建用户会话向量表征采用长短期记忆网络(LSTM):zS=LSTM(Q(:,S))
其中,Q是物品的向量矩阵,Q(:,S)代表出现在会话S中所有的物品向量;分别用长短期记忆网络对会话模态a的表示 和模态b的表示 进行特征建模,得到目标用户的兴趣向量表征 他的第l个朋友的表征为最近会话 的向量表征为
根据社交网络G,采用基于动态路由的多模态图网络计算朋友对目标用户的社交影响;
以下是多模态社交图网络中目标用户的朋友兴趣特征对目标用户模态a的社交影响的计算过程:
其中, 是模态m,m∈{a,b}到模态a的转换矩阵; 是目标用户第l个朋友在模态m下的兴趣向量表征, 是目标用户ui在模态a下的兴趣向量表征;r代表动态路由的迭代次数; 是目标用户第l个朋友的模态m到目标用户ui模态a的连接参数, 是参数归一化后的连接参数;3oftmaxl为softmax函数,可以得到不同朋友的不同模态对目标用户模态a的重要程度;AGGREGATEl函数表示将目标用户的所有朋友信息聚合,采用求和(SUM)计算方法;squash是胶囊网络中常用的squash向量激活函数;N(i)是目标用户ui的朋友集合,图网络节点信息更新后的 即是朋友对目标用户模态特征a的社交影响;以上是朋友对目标用户模态a的社交影响计算过程,朋友对目标用户模态b的社交影响计算过程相同;
结合目标用户兴趣和社交影响,获得用户最终向量表征;用户的兴趣由他当前会话行为和社交影响共同决定,用户的最终表示就由全连接层合并两者得到,令:其中, 是线性转化矩阵, 为目标用户ui行为表现出的多模态空间下的兴趣向量表征, 是多模态空间下的朋友对目标用户ui的社交影响,为向量拼接操作;
根据用户最终向量表征和物品向量表征,推荐物品;将物品vj的向量 乘以用户兴趣向量 再应用softmax函数计算出物品vj的分数:其中, 和 代表用户在模态空间a和b下的兴趣向量, 和 是物品vj在模态空间a和b下的向量表征;代表物品vj成为下一个交互的可能性;同时根据 的对数似然函数值,计算损失函数:
其中,yj代表vj的one‑hot编码, 函数用梯度下降法来最优化。
2.根据权利要求1所述的一种基于多模态交叉融合图网络的会话社交推荐方法,其特征在于:所述长短时记忆网络(LSTM)结构为:ij=σ(wixj+Uihj‑1+bi)fj=σ(Wfxj+Ufhj‑1+bf)oj=σ(Woxj+Uohj‑1+bo)cj=ijtanh(Wcxj+Uchj‑1+bc)+fjcj‑1hj=ojcj
其中,不同模态的公式相同且参数不共享,因此公式中省略了模态参数m∈{a,b};xj是会话序列中第j个物品的向量表征;长短期记忆网络的最后一层的隐藏状态hj的输出就是会话向量表征zS; 和 分别是
控制输入门ij、遗忘门fj和输出门oj的参数,d代表物品向量的维度;σ为sigmoid函数;所有这些参数和输入:隐层状态hj‑1、当前输入xj共同参与计算,来输出结果hj。
3.根据权利要求1所述的一种基于多模态交叉融合图网络的会话社交推荐方法,其特征在于:所述softmaxl方法借鉴于注意力机制中的归一化方式,具体公式如下:其中, 是目标用户第l个朋友的模态m到目标用户ui模态a的连接参数。