欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021106095005
申请人: 重庆大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2025-03-12
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于神经网络和移动上下文的兴趣点推荐方法,其特征在于,包括如下步骤:S100:构建训练数据集DS,训练数据集DS中训练样本是第i个用户ui和第j个地点lj构成的数据组;

定义用户集合,地点集合和用户地点矩阵,其中用户集合表示为U={u1,u2,u3,...,um},m表示用户数量,地点集合表示为L={l1,l2,l3,...,ln},n表示地点的数量,用户地点矩阵表示为R:U×L,Rij表示了用户ui和地点lj之间的原始联系,即用户ui访问地点lj的次数;

S110:建立联合神经网络模型,并对联合神经网络模型进行训练,计算用户访问未知地点的预测概率值;

S120:建立移动上下文的兴趣点推荐模型,计算用户访问未知地点的预测得分;

S200:进行联合神经网络模型和移动上下文的兴趣点推荐模型的融合,计算用户访问未知地点的预测分数,根据所述预测分数由大到小排序,得到该用户对未知地点感兴趣程度的推荐列表;

进行联合神经网络模型和移动上下文的兴趣点推荐模型的融合的过程如公式(1)所示:

其中,Finalij是模型融合后的预测分数,Nor是归一化函数,β是控制基于联合神经网络的推荐算法的混合权重,Unionij是联合神经网络模型得到预测概率值, 是移动上下文的兴趣点推荐模型得到的预测得分。

2.如权利要求1所述的基于神经网络和移动上下文的兴趣点推荐方法,其特征在于,所述S110建立联合神经网络模型,建立联合神经网络模型计算用户访问未知地点的预测概率值的过程如下:

S111:构建特征提取网络对每个训练样本进行特征的提取,得到每个样本的用户初级特征向量和地点初级特征向量;

S112:构建降维网络对每个训练样本的用户初级特征向量和地点初级特征向量分别进行向量降维处理,得到每个训练样本对应的用户高级特征向量和地点高级特征向量,且用户高级特征向量和地点高级特征向量的维数相等;

S113:针对每个训练样本将对应的用户高级特征向量和地点高级特征向量进行拼接得到每个训练样本高阶的特征组合信息;

S114:构建关系挖掘网络,将每个训练样本高阶的特征组合信息作为输入,输出每个训练样本中用户与配对的地点之间的预测结果Coij;

LF LF

S115:构建用户隐因子矩阵U 和地点隐因子矩阵L ,计算矩阵分解的预测结果MFij;

S116:构建联合神经网络,根据预测结果Coij和矩阵分解的预测结果MFij计算最终预测结果Unionij,并采用sigmoid函数将Unionij转化为预测概率值;

S117:计算损失,计算ui对lj是否感兴趣的真实概率值与ui对lj是否感兴趣的预测概率LF

值之间的损失,根据损失值更新特征提取网络、降维网络,关系挖掘网络,隐因子矩阵U 和LF

地点隐因子矩阵L 和联合神经网络的参数,再将所有训练样本依次输入更新参数后的特征提取网络、降维网络和关系挖掘网络进行继续训练;

当损失不在下降时,特征提取网络、降维网络和关系挖掘网络训练完成;

S118:对于用户集合中的任一用户,预测该用户对多个未知地点是否感兴趣,将该用户和多个地点输入训练好的特征提取网络、降维网络和关系挖掘网络,得到该用户对多个位置地点的预测概率值。

3.如权利要求2所述的基于神经网络和移动上下文的兴趣点推荐方法,其特征在于,所述S111构建特征提取网络为局部特征提取层,具体如下:用户ui的原始向量以 表示,地点lj的原始向量以 表示,定义一个局部窗口window大小的数值,将输入 或 按照该局部窗口window大小划分为若干局部模块,同时,根据局部窗口的数量将第一层神经网络划分为不同的部分,输入 或 的每个局部模块与第一层神经网络的每个部分对应;

表示用户向量或地点向量的输入层如公式(3)所示,进行局部特征提取的第一层神经网络如公式(4)所示。

其中,w_n是根据局部窗口大小得到的局部窗口个数, 和In1分别是第一层神经网络中第一个局部窗口对应的网络权重和输入, 是第一个局部窗口的网络偏置项, 和In2分别是第一层神经网络中第二个局部窗口对应的网络权重和输入, 是第二个局部窗口的网络偏置项, 和Inw_n分别是是第一层神经网络中第w_n个局部窗口对应的网络权重和输入, 第w_n个局部窗口的网络偏置项,Con表示拼接操作,即将所有局部学习的结果整合在一起作为第一层网络的输出,f是激活函数,采用ReLu形式,如公式(5)所示:f(x)=max(0,x)            (5)。

4.如权利要求2后3所述的基于神经网络和移动上下文的兴趣点推荐方法,其特征在于,所述S112构建的降维网络具体如下:设包含局部特征提取层在内的降维神经网络一共有M层,如公式(6)所示:Layerk=f(wkLayerk‑1+bk),k=2,3...,M    (6)其中,wk和bk分别是第k层网络的权重和偏置,Layerk‑1是k‑1层的输出结果,当k=2时,输入来自于局部特征提取层的结果,f采用ReLu激活函数;

在每一层神经网络发挥非线性作用之前,先将中间输入拉回到标准的正态分布,如(7)所示:

Layerk=f(BNk(wkLayerk‑1+bk))          (7)其中,BNk是第k层的批量归一化处理,γ和β是需要训练得到的参数,∈是极小量参数,BNk在单个神经元上的计算形式,如公式(8)所示,Neumid代表了未经激活函数处理的单个神经元的中间输出值,如公式(9)所示, 和 分别是该神经元在层权重wk和层偏置bk的对应部分, 是该神经元在输入Layerk‑1的对应部分,μ(Neumid)计算的是一个批次的2

训练数据集在该神经元上的平均值,σ(Neumid) 计算的是方差;

2

μ(Neumid)和σ(Neumid) 分别如公式(10)和公式(11)所示:μ(Neumid)=1/|Batch|∑zxz          (10)

2 2

σ(Neumid) =1/|Batch|∑z(xz‑μ(Neumid))      (11)其中,Batch代表了一个训练批次,xz代表了训练批次中的单个输入数据,每层网络中的每一个神经元都在激活函数之前执行批量归一化处理,将数据分布进行重新调整,之后才让激活函数执行非线性映射操作;

构建两个结构完成相同的降维降维网络,即用户降维降维网络和地点降维降维网络,经过向量降维网络后,用户向量 和地点向量 的新表达分别如公式(12)和公式(13)所示:其中, 是用户降维降维网络的批量归一化、神经网络权重和偏置,是面向地点降维降维网络的批量归一化、神经网络权重和偏置, 和 分别是降维后的用户高级特征向量和地点高级特征向量。

5.如权利要求4所述的基于神经网络和移动上下文的兴趣点推荐方法,其特征在于:所述S114构建关系挖掘网络,具体公式(15)所示,同时加入了Drop‑out来缓解关系挖掘网络的过拟合现象,如公式(16)所示:其中,关系挖掘网络的层数为N,wk和bk是每一层网络的权重和偏置,f是ReLu激活函数,是由drop计算得到的由0或1表示的向量,其维度和所在层的神经元个数保持一致,drop函数在生成向量的时候,每一个维度取决于Bernoulli(p),而Bernoulli(p)会按照概率p生成为1或0。

6.如权利要求4所述的基于神经网络和移动上下文的兴趣点推荐方法,其特征在于,所LF LF

述S115构建用户隐因子矩阵U 和地点隐因子矩阵L ,计算矩阵分解的预测结果MFij的过程为:

LF LF

构建用户隐因子矩阵U 和地点隐因子矩阵L ,并初始化;

矩阵分解的预测结果如公式(17)所示:LF LF

其中, 是用户ui在U 中的对应向量, 是地点lj在L 中的对应向量。

7.如权利要求4所述的基于神经网络和移动上下文的兴趣点推荐方法,其特征在于,在构建联合神经网络,如公式(18)所示:Co MF

Unionij=f(w Coij+w MFij+b)       (18)Co MF

其中,w 和w 分别为Coij和MFij对应的网络权重,b是网络的偏置。

8.如权利要求3所述的基于神经网络和移动上下文的兴趣点推荐方法,其特征在于,所述S120移动上下文的兴趣点推荐模型的过程如下:设所有的地点类别构成了类别集合C={c1,c2,c3,...,cs},其类别总数为s;

S121:通过聚类算法,同时结合地点自身的流行度,计算用户ui在区域条件下访问地点lj的概率

S122:构建距离偏好模型,计算用户ui访问地点lj地点上的距离得分S123:构建类别偏好模型,计算用户ui访问地点lj地点上的类别得分S124:将区域概率、距离分数、类别分数进行融合构建移动上下文的兴趣点推荐模型,如公式(25)所示:

其中,α是控制距离分数的权重系数。

9.如权利要求3所述的基于神经网络和移动上下文的兴趣点推荐方法,其特征在于,所述S121计算用户ui在区域条件下访问地点lj的概率 的过程如下:采用K‑means聚类方法将所述地点进行聚类并划分为Re区域,如公式(26)所示:其中,区域集合为Region={r1,r2,r3,...,rRe},区域个数为Re,lj是属于区域rk的兴趣点,μ(rk)表示的是区域的聚类中心,dis计算的是地点lj到μ(rk)的距离;

随机选取区域的区域中心作为初始中心,计算每个地点到Re个初始中心的加权距离,若第j个地点与第t个初始中心距离最小,则将第j个地点化为第t个初始中心所在的区域,再次随机选取区域中心更新初始中心,并计算每个地点与更新后的Re个区域中心的加权距离,若第j个地点与t个更新后的区域中心距离最小,则将第j个地点化为第t个区域中心所在的区域,如此循环,直至区域中心和化入区域内的地点不再变化,则区域划分完成;

用户ui的原始向量以 转换为基于区域的用户向量 使用协同过滤技术来对未知的区域进行填充,如公式(27)所示:其中, 是用户ui的区域向量 中未知的第z个维度,即代表了没有访问过的区域,group(i)是用户的相似用户群体,simi,p计算的是用户ui与他们用户之间的相似度, 表示的是相似用户的区域向量 中的第z个维度,相似度的计算方式如公式(28)所示:公式4.5采用的是余弦相似度,得到用户ui与其他用户的相似度后,确定相似用户群体group(i);

兴趣点的公众流行度,如公式(29)所示:Pop

Pj =(Pop(lj)+1)/Pop(rz)         (31)其中, 是用户ui在区域条件下访问地点lj的概率, 是用户ui自身的初始区域Pop

访问概率,Pj 是根据公众流行度计算的热度访问概率,rz是地点lj所属的区域,计算的是用户区域向量之和,Pop(lj)代表的是地点的访问人数,Pop(rz)代表的是区域的访问人数。

10.如权利要求3所述的基于神经网络和移动上下文的兴趣点推荐方法,其特征在于,所述S122构建距离偏好模型,计算用户ui访问地点lj地点上的距离得分 的过程如下:

所述距离偏好模型如公式(32)所示:γ(x,θ)=a′+bx′         (32)log Pro(lj,lv)=loga+blog dis(lj,lv)         (33)b

Pro(lj,lv)=a×dis(lj,lv)          (34)其中,x表示的是lj和lv之间的距离,x′是距离的对数值,θ是未知参数集合,a′表示log a,γ(x,θ)=logPro(lj,lv),lj是未知地点,lv是用户ui曾经访问过的某个地点,a和b分别是幂律分布的参数,dis表示的是两个地点之间的距离,log是以2为底数的对数计算;

采取基础的最小二乘法来获取目标参数a和b,通过寻找最优的a′和b,来使得损失函数最小化,所述损失函数如公式(35)所示:

2 2

minθ1/2∑x∈DS(γ(x,θ)‑ρ(x)) +δ||θ||        (35)其中,DS是训练数据集,x是训练数据集中真实存在的相邻签到地点之间的距离,ρ(x)是该距离的真实发生概率的对数值,δ为权重系数,通过寻找最优的a′和b,来使得损失函数最小化,最终,将a′还原成a,基于幂律分布的公式(34)便就得到了确认。

设用户ui的历史地点集合为L(ui),那么未知地点lj相对于用户的地点访问概率如公式(36)所示:

对地点访问概率 进行归一化来表示用户ui在该地点上的距离得分 如公式(37)所示:

Geo Geo

其中,min (ui)表示对于用户ui而言所有未知地点中的最小访问概率,max (ui)表示对于用户ui而言所有未知地点中的最大访问概率。

11.如权利要求8所述的基于神经网络和移动上下文的兴趣点推荐方法,其特征在于,所述S123构建类别偏好模型,计算用户ui访问地点lj地点上的类别得分 的过程如下:

设包含m个用户的集合U和包含s个类别的集合C共同组成了原始用户类别矩阵UC:U×C,其中每个元素代表了用户访问某个类别的次数;

LF LF

设原始用户类别矩阵UC的用户隐因子矩阵和类别隐因子矩阵分别为U 和C ,用户ui对于特定类别cv的预测如公式(38)所示:其中, 和 分别是用户ui和类别cv对应的隐因子向量;

设对于用户ui而言,cv是已经观测的类别,即正例,cz是未观测类别,即负例,正例和负离之间的差值如公式(39)所示:其中, 是未观测类别cz对应的隐因子向量,采用sigmoid函数将所述差值转化为概率值,如公式(40)所示:

通过对训练数据集中的真实类别访问情况进行统计,每个用户的正负类别配对情况都能够被计算,设目标函数如公式(41)所示:Cate

Goal =∏u,v,zPro(cv>cz)         (41)其中,u、v和z代表了数据集中用户u的正负类别配对情况;

LF LF

采用梯度下降法来迭代更新U 和C ,会目标函数(41)逐渐收敛;

用户ui在地点lj上的类别偏好分数进行归一化计算,如公式(42)所示:Cate

其中,cv是地点lj的对应类别,min (ui)表示对于用户ui而言所有类别中的最小值,Cate

max (ui)则表示对于用户ui而言所有类别中的最大值。