欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019111374805
申请人: 江西财经大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-03-14
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种融合多特征的矩阵分解兴趣点推荐方法,其特征在于,包括以下步骤:步骤一,重构多源异构特征,所述多源异构特征包括对地理位置信息、类别偏好信息和社交关系信息,由位置社交网络LBSN中的用户评分矩阵、分类偏好矩阵、流行度矩阵和用户活跃度,对所述多源异构特征进行重构;

步骤二,利用文本信息挖掘用户和兴趣点的潜在模型,生成一个混合深度神经网络HDNN结构,以自上而下的方式学习文档的潜在分布表示,通过分析用户和兴趣点的评论文档,生成文档潜在模型;

步骤三,多特征融合的矩阵分解兴趣点推荐,基于乘法法则融合所述多源异构特征,生成融合地理位置、类别偏好、社交关系及混合深度神经网络的多特征融合的概率矩阵分解模型,并对概率矩阵分解模型中的参数进行优化,以预测用户的个性化偏好,并使用预测结果来推荐Top‑k兴趣点;

其中,步骤一中的所述地理位置信息的重构是指利用用户已访问的兴趣点和未访问的兴趣点间的地理位置关系来估算用户在未访问兴趣点上的相关得分,根据每个用户已访问过的兴趣点估算地理坐标上的个性化签到分布;所述类别偏好信息的重构是指将用户对类别的偏好和兴趣点的流行度计算用户和兴趣点之间的关联评分;所述社交关系信息的重构是指通过用户间的相似性对用户的签到行为进行分析,在皮尔森相关系数法的基础上,利用用户活跃度重新定义用户的相似性;

步骤二中的所述混合深度神经网络包括双向长短期记忆网络和卷积神经网络,所述双向长短期记忆网络用于构建用户和兴趣点评论文档中每个文本句子的表示,所述卷积神经网络用于将所有文本块的语义及其关系编码到文档表示中;

所述混合深度神经网络包括嵌入层、双向长短期记忆网络层、卷积神经网络层、池化层和输出层;

所述混合深度神经网络首先通过Embedding函数构建所述嵌入层,输出序列S;其次通过Bidirectional函数构建所述双向长短期记忆网络层;再将双向长短期记忆网络层的输出输入到卷积神经网络层的卷积操作中,并对卷积的结果进行降维,其中的激活函数为tanh函数;然后利用dropout函数防止结果过拟合;最后构建混合深度神经网络模型及设置其损失函数;

步骤三中的所述基于乘法法则融合所述多源异构特征是指采用乘法法则融合地理、社交与分类偏好相关分数,并将这些分数融合到概率矩阵分解模型中;首先评估用户所在位置经纬度坐标的个性化签到分布,基于地理相关性,推导用户对未签到的兴趣点的地理相关分数;然后根据其他用户已签到的兴趣点,利用用户的社交关系,推导用户对未签到的兴趣点的社会相关分数;最后,根据用户已签到的兴趣点与未签到的兴趣点的分类与流行度,基于分类相关性,推导用户对未签到的兴趣点的分类相关分数;

所述多特征融合的概率矩阵分解模型中集成了混合深度神经网络、地理位置信息、类别偏好信息和社交关系信息的重构的多源异构特征;

所述对概率矩阵分解模型中的参数进行优化是指通过使用极大后验估计法MAP,以实现优化混合深度神经网络的用户潜在模型、兴趣点潜在模型、权重和偏置变量。

2.如权利要求1所述的融合多特征的矩阵分解兴趣点推荐方法,其特征在于,步骤一中的LBSN中的用户评分矩阵、分类偏好矩阵、流行度矩阵和用户活跃度的定义如下:设U={u1,u2,…,uL}为用户的集合,L表示用户的数量;V={v1,v2,…,vJ}为LBSNs中所有兴趣点的集合,J表示兴趣点的数量;C={c1,c2,…,cK}为兴趣点类别的集合, 为类别的数量且一个兴趣点可以同时属于多个分类:所述用户评分矩阵定义为给定一个LBSN上的兴趣点的用户评分数据,构建一个二维矩阵 ,矩阵中每个元素 代表用户 在位置 上的评分;

所述分类偏好矩阵定义为给定一个LBSN上的兴趣点的用户历史评分数据和兴趣点的分类信息,构建一个二维矩阵 ,矩阵中的每个元素 表示用户 访问属于类的兴趣点的频率;

所述流行度矩阵定义为给定一个LBSNs上的兴趣点的签到人数和签到时间,构建一个二维矩阵 ,矩阵中的每个元素 代表在 时刻在兴趣点 的签到频率,即在 时刻兴趣点 的流行度;

所述用户活跃度定义为用户已评论兴趣点的类别数和用户互动量称为用户活跃度,用表示:(1);

其中, 表示用户 已评论的第c类兴趣点占所有已评论兴趣点的数量比例,c是兴趣点的类别数量, 表示用户 的互动量,即用户的点赞数和粉丝数所占比例。

3.如权利要求2所述的融合多特征的矩阵分解兴趣点推荐方法,其特征在于,步骤一中的所述地理位置信息重构的步骤如下:首先,基于固定带宽核密度估计法找到一个试点估计,令集合 为用户已访问POI的集合, 中的每一个POI 都有一对经纬度坐标 ;将用户 在兴趣点 上的评分 作为POI 的权重,用户u在未访问的POIv上的签到分布的试点估计为,如式(2)表示:

(2);

(3);

其中, 为用户u访问的所有兴趣点两两之间的距离集合; 是包含两个全局带宽 的固定带宽 的标准高斯核函数,两个全局带宽表示为式(6)与式(7);兴趣点之间的距离通过 来计算,如式(4)表示:(4);

其中, 是地球半径, 的计算如式(5)表示:

(5);

(6);

(7);

其中, ,而H1和H2分别计算用户 已访问POIs的经度值与纬度值的标准偏差;

然后,利用试点估计来估计用户u访问POI 的自适应当地带宽 ,如式(8)所示,其中是敏感参数 ,参数 越大自适应当地带宽 对试点估计 越敏感, 是几何平均值,如式(9)表示:

(8);

(9);

最后,根据全局带宽 和自适应带宽 得到用户 在一个未签到的兴趣点上的签到分布的自适应核密度评估为 ,如式(10)表示:(10);

(11);

步骤一中的所述类别偏好信息重构包括三个步骤:通过类别偏好计算流行度、计算类别流行度的分布估计、计算类别相关分数;

首先,定义 为用户 对类别 的偏好,即用户 已签到的属于类别 的兴趣点的频率;然后,叠加兴趣点 各时间段的流行度定义为兴趣点 的流行度 ;故,用户 在未访问POI 上的类别流行度 为:(12);

其中,为POI 所属的类别;

根据分类流行度的分布,对所有用户历史签到数据进行学习,将用户对未访问POIs的流行度映射成正则化的相关分数,类别流行度随机变量 遵循幂律分布,概率密度函数 为:(13);

其中, 的值由类别偏好矩阵 和流行度矩阵 决定,如式(14)表示;其中,是兴趣点 上用户 的分类流行度:(14);

定义 的类别相关分数为 ;由于 , 相对于类别流行度 是一个递增函数,如式(15)表示:

(15);

步骤一中的所述社交关系信息重构的步骤如下:

将用户间的相似度通过皮尔森相关系数和用户活跃度定义,活跃度相近的用户更相似,以 函数定义活跃度与相似度间的关系,最终用户相似度的计算如式(16)表示:(16);

其中, 表示用户 对兴趣点 的评分, 表示用户 对所有兴趣点评分的平均值,的取值范围为[‑1, 1];

通过用户间的相似度计算用户 对未签到兴趣点 的评分,如式(17)表示;其中,根据式(16)计算的相关性强度来决定是否利用好友评分属性:(17);

(18);

社会签到评分的随机变量 遵循幂律分布,概率密度函数定义为 ,如式(19)表示;

其中,由签到矩阵和社交关系矩阵决定,如式(20)表示:(19);

(20);

基于概率密度函数 定义 的社交相关分数为 ,如式(21)表示;由于,则 相对于社交签到评分 是一个递增函数:

(21)。

4.如权利要求3所述的融合多特征的矩阵分解兴趣点推荐方法,其特征在于,所述嵌入层用于提取文档的语义信息,利用Glove词嵌入方法,将每个词转换为实值向量,把每个文本片段表示为单词嵌入序列;设令 表示为包含 个单词的文本块,每个单词都映射到一个全局向量,则有:(22);

其中,向量 表示第 个单词的向量,为保持单词在文本块 中的顺序,将单词嵌入的向量连接在一起,并将文档按时间顺序排列成 个文本块,得到一个序列: ,其中, 是第 个文本块的子序列;

所述双向长短期记忆网络层用于挖掘文档中词序列间的隐藏信息;双向长短期记忆网络同时对文档中每个词的上下文信息进行语义编码并对其前后信息进行建模,将前向LSTM的输出序列 和后向LSTM的输出序列 连接起来作为下一层卷积层的输入;第 时刻隐藏向量ht的更新公式如下:(23);

(24);

(25);

(26);

(27);

(28);

(29);

所述卷积神经网络层用于抽取文本句子间的结构特征;在卷积层,每个神经元 使用一个滤波器 ,其中 为卷积计算的滑动窗口,为LSTM层输出向量的大小;对 运用卷积算子 计算出新的特征 ,如式(30)表示:(30);

其中, 是偏置项,是激活函数;在 、 、修正线性单元的激活函数中,使用ReLU激活函数,避免了梯度消失的问题;

所述池化层用于从卷积神经网络层提取具有代表性的特征,并通过池化操作将可变长度的文档构造成固定长度的向量特征;利用max‑pooling操作,从每个上下文特征向量中提取最大上下文特征,将一个文档的表示缩减为一个定长向量,如式(31)和式(32)表示:(31);

(32);

其中, 表示卷积层的核数;引入非线性,在max‑pooling的基础上添加激活函数双曲正切函数 ;在文本分析中,将不同单词窗口生成的所有特征向量串联起来,形成 的最终表示形式: ,其中, ;

所述输出层用于将原始文档转换为密集的分布表示形式,使用dropout函数防止过拟合;利用常规非线性投影将卷积层提取的高阶特征投影到 维空间上,如式(33)表示:(33);

其中, 为 投影矩阵,为 的偏置向量, 为池化层的输出。

5.如权利要求4所述的融合多特征的矩阵分解兴趣点推荐方法,其特征在于,步骤三中的所述多特征融合的矩阵分解兴趣点推荐的具体步骤如下:步骤3.1,基于乘法法则的属性特征融合;

步骤3.2,建立多特征融合的概率矩阵分解模型;

步骤3.3,多特征融合的概率矩阵分解模型的优化。

6.如权利要求5所述的融合多特征的矩阵分解兴趣点推荐方法,其特征在于,步骤3.1中的基于乘法法则的属性特征融合的具体步骤如下:用户 在兴趣点 上的签到评分由用户和兴趣点这两种因素所决定,评价 反映用户与兴趣点之间的地理、社会与分类相关性;地理、社会与分类相关分数越高,则评价 越高,这里融合地理、社会与分类相关分数,由式(10)、式(15)和式(21)给定的相关分数,关于用户 对兴趣点 的偏好,基于乘法法则,把这些相关分数整合到一个统一的偏好分数中,如式(34)表示:(34)。

7.如权利要求6所述的融合多特征的矩阵分解兴趣点推荐方法,其特征在于,步骤3.2中的建立多特征融合的概率矩阵分解模型的具体步骤如下:使用概率矩阵分解模型预测用户对兴趣点的评分时,特征向量 表示用户 ,兴趣点 用特征向量 表示,其中 和 分别表示用户潜在偏移量和兴趣点潜在偏移量,所述用户潜在偏移量用于捕获特定兴趣点的用户偏置,所述兴趣点潜在偏移量用于捕获特定用户的兴趣点首选项,如式(35)表示:, (35);

根据贝叶斯规则,观测数据( ,  ,  )、潜在因素( ,  ,  ,  ,  )、参数( , )的联合似然性可表示为式(36):(36);

其中,观测参数R为用户评分矩阵;X为用户对未签到兴趣点的评分;Y为用户对未访问兴趣点的类别流行度;潜在因素U为用户的集合;V为兴趣点的集合;GSC为用户对兴趣点的偏好分数;

和 是兴趣点和用户的分布表示;参数 表示混合深度神经网络(HDNN)中所有权值和偏置变量; 是兴趣点潜在因子的 高斯先验, 是用户潜在因子的 高斯先验; 和 是相应的高斯分布的精度;且 。

8.如权利要求7所述的融合多特征的矩阵分解兴趣点推荐方法,其特征在于,步骤3.3中的多特征融合的概率矩阵分解模型的优化的具体步骤如下:后验函数的极大化等价于式(36)的完全对数似然的极大化,得到目标函数如式(37)表示:(37);

先固定 和 的值,固定变换 、 中的参数 , ,从而求解 和 ;

对于 和 ,最大化遵循矩阵分解方法;和 的更新方式如式(38)表示:(38);

其中, 是对角矩阵, 是其对角元素,对于用户 的 ;对于兴趣点 ,类似地定义 和 ;

在更新 和 时采用矩阵运算策略来减少计算成本;更新 时,将 改写为,并预先计算每个兴趣点的 ;同样地,更新 时,将 改写为 ,并为每个用户预先计算 ;

当 和 固定时,损失函数L为一个带L2正则项的平方误差函数,如式(39)表示:(39);

根据式(39),使用反向传播分别用给定的目标值 和 对 和 进行优化。

9.一种融合多特征的矩阵分解兴趣点推荐的实现系统,其用于实现如权利要求1‑8任一项所述的融合多特征的矩阵分解兴趣点推荐方法,其特征在于,该实现系统包括:重构多源异构特征模块,利用用户和兴趣点的评论信息、地理信息、分类信息、用户的社交信息、用户属性信息以及兴趣点的签到信息和评论内容对地理位置信息、类别偏好信息和社交关系信息进行重构;

混合深度神经网络模块,用于利用文档信息挖掘用户和兴趣点的潜在模型,以自上而下的方式学习文档的潜在分布表示;

多特征融合的概率矩阵分解模型模块,用于形成融合混合深度神经网络、地理位置信息、类别偏好信息和社交关系信息的重构的多源异构特征的概率矩阵分解模型。

10.如权利要求9所述的融合多特征的矩阵分解兴趣点推荐的实现系统,其特征在于,所述混合深度神经网络模块包括嵌入层模块、双向长短期记忆网络层模块、卷积神经网络层模块、池化层模块和输出层模块,其中:所述嵌入层模块用于提取文档的语义信息,并将每个词转换为实值向量,把每个文本片段表示为单词嵌入序列;

所述双向长短期记忆网络层模块用于挖掘文档中词序列间的隐藏信息;

所述卷积神经网络层模块用于抽取文本句子间的结构特征;

所述池化层模块用于从卷积神经网络层提取具有代表性的特征,并通过池化操作将可变长度的文档构造成固定长度的向量特征;

所述输出层模块用于将原始文档转换为密集的分布表示形式,防止结果过拟合。