欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019111732519
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度循环神经网络的用户位置预测方法,其特征在于,包括:步骤1,获取用户的历史全球定位系统GPS轨迹信息,提取出用户的每个轨迹点信息,所述轨迹点信息至少包含用户编号、网格编号、时间信息、语义信息、时间间隔和距离间隔;

步骤2,将用户的每个轨迹点包含的信息元组转化成轨迹点向量表示,得到用户编号向量、网格编号向量、时间信息向量和语义向量,时间间隔和距离间隔仍采用标量表示;

步骤3,将轨迹点向量输入到改进的深度循环神经网络模型中,得到时间窗口中每个时间片的第一隐状态向量hn,将所述第一隐状态向量hn输入到注意力层,得到第二隐状态向量将第二隐状态向量 与用户编号向量相加,输入到SoftMax层,得到训练预测向量yk,通过减小目标函数的损失来训练模型;

步骤4,将待预测用户的前k‑1个位置的轨迹点向量输入训练完成的模型,得出目标预测向量y′k,通过SoftMax计算出概率分布,将概率最大的位置作为用户的预测位置k;

其中,所述步骤3包括:

步骤301,将轨迹点向量输入到改进的深度循环神经网络模型中,通过基于LSTM改进的循环神经元层计算,得到时间窗口中每个时间片的第一隐状态向量hn,所述基于LSTM改进的循环神经元层中设置有用于接收时间间隔信息和距离间隔信息的时间门和距离门;

步骤302,将第一隐状态向量hn输入到注意力层进行计算,通过两个额外的注意力权重向量,以及一个注意力深度对第一隐状态向量hn进行加权计算,获得第二隐状态向量

2.根据权利要求1所述的方法,其特征在于,所述步骤2包括:

步骤201,将网格编号,时间信息,用户编号通过词嵌入方法转化向量表示,得到用户编号向量、网格编号向量、时间信息向量,时间间隔和距离间隔仍为标量表示;

步骤202,将语义信息通过语句转向量sen2vec方法转化成语义向量,包括先使用预训练的词向量转化语义信息中的每个单词,根据预训练的词频将每个语义信息的所有单词进行加权处理,再使用主成分分析法对整个语义信息集进行处理,得到每一条语义信息的向量表示;

步骤203,将网格编号向量、时间信息向量和语义向量进行向量连接,作为模型的第一输入部分,将时间间隔和距离间隔作为模型的第二输入部分,将用户编号向量作为模型的第三输入部分。

3.根据权利要求2所述的方法,其特征在于,所述将语义信息转化成语义向量,包括:对于原始语义信息集合c中的每一条原始语义信息ck,使用预训练词向量 来代表语义信息中的每一个单词w∈ck,使用预训练语料库词频作为它的词频统计p(w),将c中所包含的词向量加权求和并取平均,转化得到中间词向量其中,a是预设的一个不变参数,词频统计p(w)越大,表示该单词出现的频率越高,对于没有查询到的单词w,设置p(w)=1, 表示预处理中的中间词向量 的集合;

使用主成分分析法PCA对 的集合 求得主成分

为保持向量的维度不变,获得嵌入向量 其中 为 的转置;

将 进行线性变换为语义嵌入表示为 其中Bc是线性变换的权重矩阵。

4.根据权利要求1所述的方法,其特征在于,所述步骤3还包括:

步骤303,将第二隐状态向量 使用线性变换转化成N维向量ok,将ok与用户编号向量相加,输入到SoftMax层进行计算,得到训练预测向量yk;

步骤304,使用随机梯度下降算法SGD更新所述模型的参数,减小目标函数J的损失来训练所述模型。

5.根据权利要求1所述的方法,其特征在于,所述计算得到时间窗口中每个时间片的第一隐状态向量hn,包括:将网格编号向量,语义向量,时间向量拼接而成向量 两个轨迹点之间的位置间隔Δdn和时间间隔Δtn,输入到以下公式群中,计算得到第一隐状态向量hn:其中,hn‑1是上一个时间片的隐状态向量,in是输入门,fn是遗忘门,cn是神经元状态,on是输出门,Wi、Wf、 Wo、Wxt、Wxd、Wt、Wd、Wto、Wdo、Vi、Vf、 Vo是该神经元的输入线性变换矩阵,bi、bf、 bo、bt、bd是输入线性变换偏移,σ()是激活函数sigmod,⊙表示矩阵元素相乘。

6.根据权利要求1所述的方法,其特征在于,将所述第一隐状态向量hn输入到注意力层,得到第二隐状态向量 包括:通过注意力深度dr,确定需要进行加权计算的隐层向量 为:

e*e e*1

通过两个额外的注意力权重向量Ws1∈R 和Ws2∈R ,计算对齐权重向量αi:i

αi=soft max(tanh(HWs1)Ws2);

利用注意力深度dr对隐层向量进行加权计算,获得第二隐状态向量

e*e e*1

其中, R 、R 分别表示维度为dr*e、e*e、e*1的空间,e为第一隐态向量hn的维度,Tαi为αi的转置,n为第一隐状态向量的序列号。

7.一种基于深度循环神经网络的用户位置预测系统,其特征在于,包括:轨迹信息输入模块,用于获取用户的历史全球定位系统GPS轨迹信息,提取出用户的每个轨迹点信息,所述轨迹点信息至少包含用户编号、网格编号、时间信息、语义信息、时间间隔和距离间隔;

预处理模块,用于将用户的每个轨迹点包含的信息元组转化成轨迹点向量表示,得到用户编号向量、网格编号向量、时间信息向量和语义向量,时间间隔和距离间隔仍采用标量表示;

改进的深度循环神经网络模型模块,包括基于LSTM改进的循环神经元模块,注意力模块,SoftMax模块和训练模块;所述基于LSTM改进的循环神经元模块用于对输入的轨迹点向量进行处理,得到时间窗口中每个时间片的第一隐状态向量hn;所述注意力模块用于对所述第一隐状态向量hn进行处理,得到第二隐状态向量 所述SoftMax模块用于将第二隐状态向量 与用户编号向量相加后进行处理,得到训练预测向量yk;所述训练模块用于更新所述改进的深度循环神经网络模型中的参数,通过减小目标函数的损失来训练所述模型;

预测结果输出模块,用于从训练好的所述改进的深度循环神经网络模型模块中接收目标预测向量y′k,通过SoftMax操作计算出概率分布,将概率最大的位置作为用户的预测位置k,所述目标预测向量y′k为将待预测用户的前k‑1个位置的轨迹点向量输入到训练完成的所述模型模块中计算得到的预测向量;

其中,所述改进的深度循环神经网络模型模块,具体用于:

所述基于LSTM改进的循环神经元模块,用于接收预处理模块生成的轨迹点向量,通过计算得到时间窗口中每个时间片的第一隐状态向量hn,所述基于LSTM改进的循环神经元模块中设置有用于接收时间间隔信息和距离间隔信息的时间门和距离门;

所述注意力模块,用于接收基于LSTM改进的循环神经元模块生成的第一隐状态向量hn,通过两个额外的注意力权重向量,以及一个注意力深度对第一隐状态向量hn进行加权计算,获得第二隐状态向量

8.根据权利要求7所述的系统,其特征在于,所述预处理模块具体用于:将网格编号,时间信息,用户编号通过词嵌入方法转化向量表示,得到用户编号向量、网格编号向量、时间信息向量,时间间隔和距离间隔仍为标量表示;

将语义信息通过语句转向量sen2vec方法转化成语义向量,包括先使用预训练的词向量转化语义信息中的每个单词,根据预训练的词频将每个语义信息的所有单词进行加权处理,再使用主成分分析法对整个语义信息集进行处理,得到每一条语义信息的向量表示;

将网格编号向量、时间信息向量和语义向量进行向量连接,作为模型的第一输入部分,将时间间隔和距离间隔作为模型的第二输入部分,将用户编号向量作为模型的第三输入部分。

9.根据权利要求7所述的系统,其特征在于,所述改进的深度循环神经网络模型模块具体还用于:所述SoftMax模块,用于将第二隐状态向量 使用线性变换转化成N维向量ok,将ok与用户编号向量相加,进行计算得到训练预测向量yk;

所述训练模块,用于使用随机梯度下降算法SGD更新所述模型的参数,减小目标函数J的损失来训练所述模型。

10.一种计算机设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1至6任一所述的方法。