欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 202310817593X
申请人: 湖北工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于图卷积网络的时间增强信息序列推荐方法,其特征在于,所述基于图卷积网络的时间增强信息序列推荐方法包括:步骤一,将物品嵌入矩阵和位置嵌入矩阵进行组合,构造为序列的隐藏层表示;

步骤二,基于时间增强的图卷积网络利用一种自适应窗口函数构建时间增强用户‑物品图,使用一个双重窗口函数为每一个用户‑物品交互项分配一个时间权重;

步骤三,构建了基于过滤增强的自注意力层,在自注意力模块之前使用一个过滤增强层,利用快速傅里叶变换和一个可学习的滤波器来抑制序列嵌入中的含噪信号;

步骤四,聚合经过处理后用户嵌入和物品嵌入,然后为每个用户‑物品对输出得分;

所述步骤二中的基于时间增强的图卷积网络建立在GCN体系结构的基础上,在用户‑物品二分图结构中对序列和时间影响进行建模,并捕获高阶协同信息,细化了用户和物品的动态嵌入,并通过图卷积操作学习时间增强图上的物品表示,具体包括:先将用户‑物品邻接矩阵A中的每个物品v映射到成d维的嵌入向量 ,然后通过TE‑GCN进行迭代的图卷积操作,聚合其邻居的特征来更新每个节点的表示,其定义如下式所示:;

其中, 上一层的节点表示,A是邻接矩阵, 是用于提取传播有用信息的可训练权重矩阵,()是非线性激活函数;

将经过L层消息传播和邻居聚合后的物品表示 和其初始嵌入序列 进行合并,其定义为:;

其中,Sigmoid()代表Sigmoid激活函数, 代表GCN最后一层的输出嵌入序列, 表示初始嵌入序列, 是一个可训练的参数;

所述步骤二使用一个双重窗口函数为每一个用户‑物品交互项分配一个时间权重中,首先将每一个用户u的历史交互序列对应的时间戳序列分别转换为全局和相邻时间的间隔序列 ,其定义如下式所示:;

其中,L是该用户交互序列长度, 表示相对时间的间隔序列,序列中每个元素表示当前物品与该用户交互的第一个物品之间的时间间隔, 保存了用户的全局兴趣转移信息;

另外,窗口函数 是一个高斯衰减函数,输入i是用户交互序列中第i个物品,输出是一个0‑1的值,表示时间因素对用户兴趣的影响,具体定义为:;

其中, 表示基于窗口函数的权重,  分别表示用户u 交互序列中的第一个和第i个物品对应的时间戳,表示窗口函数的带宽参数,当 时, 的值为0,表示用户u对当前物品i的兴趣不受时间间隔的影响,当 时,表示用户u对当前物品i的兴趣受时间间隔的影响,且时间间隔越小,影响程度越大;

根据每个交互序列最大时间戳和最小时间戳的跨度来动态确定 的大小,具体为:;

其中, 和 分别表示用户u交互序列中时间戳的最大值和最小值,k是超参数,将时间戳的跨度分隔为k份,然后将 设置为每份跨度的一半,当时间戳跨度较小时,变小,从而窗口函数的宽度变窄,考虑的时间间隔就会相应变短,相反,时间跨度较大时,考虑的时间间隔变长;

所述步骤三利用快速傅里叶变换和一个可学习的滤波器来抑制序列嵌入中的含噪信号,具体包括:首先, 使用快速傅里叶变换将交互矩阵 沿物品维度从时域转换为频域,如下式所示:;

其中 表示一维的FFT, 表示输入矩阵 的频谱,将 从时域转换为频域,然后将其送入一个可学习的滤波器 ,如下式所示:;

其中,滤波器  是一个可学习的滤波器,它通过SGD优化算法自适应的表示为频域内的任何滤波器, 表示element‑wise product;

最后通过一个一维的离散傅里叶逆变换 将 转换为时域的序列表示O,如下式所示:;

所述步骤三中,在过滤增强层Filter‑enhanced layer后加入层归一化LayerNorm和残差连接Dropout,如下式所示:;

随后将经过过滤后的物品嵌入矩阵输入到自注意力层来捕捉用户交互序列中的长期语义信息, 自注意力机制的具体方法如下式:;

多头注意力机制从不同的h中提取出不同子空间的信息,给定最大最大序列长度T,隐藏维数d,第l层隐藏表示为: , 计算过程为公式:;

其中:

是输出注意力分数值;

 , , 分别是queries,keys,values,是要学习的权重参数,

是头的数量,

比例参数 能使模型在反向传播更新梯度时更加稳定;

对于每一轮训练,首先使用RELU激活函数,然后再执行线性连接操作;使用了两层残差连接网络,并且在每一次线性变换后加入一个Dropout层以防止过拟合,具体定义为: ;

其中 ,   是偏置项。

2.如权利要求1所述的基于图卷积网络的时间增强信息序列推荐方法,其特征在于,基于Transformer的推荐模型先创建一个嵌入查找表 ,其中d是嵌入的维度大小,是用户u交互序列长度,将每个用户对应的交互序列 转换为固定长度的序列 ,其中L是最大长度,通过截断或填充物品操作来保持,中每个物品的嵌入表示可以从表T中检索出来,所述步骤一将物品嵌入矩阵和位置嵌入矩阵 进行组合,构造为序列的隐藏层表示 ,如下式所示:;

其中 是一个包含序列位置信息的嵌入矩阵,可作为输入直接送入到任何基于Transformer的模型中。

3.如权利要求1所述的基于图卷积网络的时间增强信息序列推荐方法,其特征在于,所述步骤四聚合经过处理后用户嵌入和物品嵌入,然后为每个用户‑物品对输出得分,具体包括:首先,将用户的原始嵌入 和经过基于时间增强的图卷积层、基于过滤增强的自注意力层的嵌入 结合起来,得到用户偏好向量矩阵 ,表示为:;

其次,为了保持最终用户嵌入维数与物品向量维数相同,需要对用户偏好向量进行一次线性变换,如下式所示:;

其中, 是线性变换的权重系数矩阵;

接着,将用户最终嵌入 和其初始嵌入 进行内积操作来计算每个候选物品的推荐得分 ,定义为:;

最后,使用一个softmax函数将所有候选物品得分 转换成候选物品 的概率分布,如下式所示:;其中,是候选物品的预测得分,表示候选物品的点击概率。

4.一种用于实施权利要求1 3任意一项所述的基于图卷积网络的时间增强信息序列推~荐方法的基于图卷积网络的时间增强信息序列推荐系统,其特征在于,所述基于图卷积网络的时间增强信息序列推荐系统包括:嵌入层,将物品嵌入矩阵和位置嵌入矩阵进行组合,构造为序列的隐藏层表示;

基于时间增强的图卷积层,一种自适应窗口函数来构建时间增强用户‑物品图,使用一个双重窗口函数来为每一个用户‑物品交互项分配一个时间权重;

基于过滤增强的自注意力层,在自注意力模块之前使用一个过滤增强层,利用快速傅里叶变换和一个可学习的滤波器来抑制序列嵌入中的含噪信号;

预测层,聚合经过模型处理后用户嵌入和物品嵌入,然后为每个用户‑物品对输出得分。

5.一种信息数据处理终端,其特征在于,所述信息数据处理终端用于实现如权利要求1

3任意一项所述的基于图卷积网络的时间增强信息序列推荐方法的步骤。

~