1.一种联合时空信息和社交互动特征的行人轨迹预测方法,其特征在于,包括如下步骤:步骤1、获取行人历史轨迹,并利用基于多层感知机的运动轨迹映射模块初步编码行人的历史轨迹信息;
步骤2、构建行人轨迹预测网络模型预测轨迹分布,行人轨迹预测模型包括依次连接的三个模块:结合长短时记忆网络和特征注意力机制的运动时空特征编码模块、基于图卷积神经网络的行人社交互动信息传递模块和融入拉普拉斯混合分布思想的多模态未来轨迹解码模块;
在结合长短时记忆网络和特征注意力机制的运动时空特征编码模块中,定义一个观测历史轨迹序列 ,其中T表示观测历史轨迹的帧数,N表示某一帧场景中行人的数量,2为行人在横向x和纵向y两个方向上的位置;
如公式(1)所示,利用长短时记忆网络对行人历史轨迹序列进行建模,提取行人运动序列的时空关联信息,;
;
(1);
;
;
其中,表示长短期记忆网络的门函数, 、 、 和 分别表示更新门、遗忘门、输出门和单元门; 和 分别表示将第t帧的输入状态与第t‑1帧的隐藏状态连接到长短期记忆网络单元的权重矩阵, 、 、 、 分别表示更新门、遗忘门、输出门、单元门将第t帧的输入状态连接到长短期记忆网络单元的权重矩阵; 、 、 、 分别表示更新门、遗忘门、输出门、单元门将第t‑1帧的隐藏状态连接到长短期记忆网络单元的权重矩阵;表示偏置, 、 、 、 分别表示更新门偏置、遗忘门偏置、输出门偏置和单元门偏置; 表示第t帧的输入状态,对应第t帧场景中行人的运动特征, 表示第t‑1帧的隐藏状态, 表示第t帧的隐藏状态;表示sigmoid激活函数,tanh表示Tanh激活函数, 表示逐元素相乘;
将各帧 长短时记 忆网络的 输出连 结得行人 的 初步时空 关联 信息, 表示行人i在观测时间段内第t帧的时空关联信息;
在编码模块引入特征注意力机制,综合挖掘行人当前的运动轨迹位置信息及其历史运动特征,通过公式(2)对行人当前的轨迹位置信息及其初步提取的时空关联信息进行显著性打分, (2);
其中,为显著性得分,为计算行人复合轨迹注意力得分的归一化指数函数,为权重, 为行人i运动特征;
最后,使用基于多层感知机的自适应加权融合,生成行人 自我运动序列时空关联信息的编码向量 ,以反映其在前 帧内的运动特征;
表示注意力池化层,表示行人i在观测时间序列内第t帧的自我运动序列时空关联信息;
在基于图卷积神经网络的行人社交互动信息传递模块中,对观测序列中每一帧场景建立基于图模型的空间社交互动模型,利用图卷积神经网络将观测序列每一帧的行人时空关联信息和社交互动特征进行信息传递和向量融合;
在当前帧t,行人自身与其周围n个行人建模为无向图 ,其中图中节点集合V表示当前帧t场景中行人时空关联信息编码向量的集合,边集合E表示行人之间存在交互影响,邻接矩阵A表示对应节点每两个行人之间的交互程度,以行人之间的欧式距离作为边权重以表达彼此之间交互影响;考虑到行人交互作用的发生受邻域内行人间相对距离的影响,使用2米作为阈值来截断邻接矩阵;
获得邻接矩阵后,在t‑1帧的基础上使用图卷积神经网络将行人间的社交互动特征在所确定的图结构上进行信息传递和向量融合,以更新当前帧t的目标行人的运动特征,其定义如下: (3);
其中,k表示信息传递的循环次数, 表示图卷积神经网络第k层所有节点编码向量组成的矩阵,第0层是行人i对应的编码器在当前帧t的时空关联信息 和编码向量 ,N(i)表示行人i的邻域,M(·)表示信息传递函数;对于行人i,其邻域内的所有行人j通过信息传递函数M对编码向量进行更新; 表示第k层当前帧t邻居行人j的时空关联信息, 表示第k层当前帧t目标行人i的时空关联信息;
因此,最终生成由行人i的编码向量 和时空关联信息
组成的场景动态信息,表示目标行人i在观测时间内第t帧的编
码向量, 表示目标行人i在观测时间内第t帧的时空关联信息;
在融入拉普拉斯混合分布思想的多模态未来轨迹解码模块中,将行人i场景动态信息中的编码向量 和时空关联信息 作为输入信息;首先,利用基于多层感知机的模式映射层,将输入的时空关联信息 成形状[ ],其中K表示要预测运动轨迹模式的数量,表示需要预测的指定时间步长, 表示特征向量的维度;然后,使用长短时记忆网络预测层将行人i的编码向量和时空关联信息作为依据,计算用以预测行人未来指定步长轨迹特征的解码向量 ;接着,使用基于多层感知机的运算将解码向量映射得到每个行人服从拉普拉斯混合分布的未来轨迹坐标序列 ;
步骤3、训练得到最优的行人轨迹预测网络模型;
步骤4、基于最优的行人轨迹预测网络模型,采集当前帧的前8个时间步真实位置作为行人已知的观测轨迹数据,预测未来12个时间步的运动轨迹。
2.根据权利要求1所述联合时空信息和社交互动特征的行人轨迹预测方法,其特征在于,所述步骤1中,在轨迹数据输入编码模块之前,利用运动轨迹映射模块初步编码行人的历史轨迹信息,得到行人运动特征 ,t=1,2,…,T; 表示第t帧场景中所有行人的运动特征,N表示某一帧场景中行人的数量, 表示嵌入特征空间的维度,以此作为运动时空特征编码模块的输入数据。
3.根据权利要求1所述联合时空信息和社交互动特征的行人轨迹预测方法,其特征在于,所述步骤2的具体过程如下:步骤2.1、基于结合长短时记忆网络和特征注意力机制的运动时空特征编码模块,挖掘行人自身对观测时段内历史轨迹特征向量的时间依赖性,选择性捕获行人自我运动序列的时空关联信息;
步骤2.2、在时序特征提取基础上,通过分析行人自身运动与其周围其他行人间存在复杂相互作用的特点,基于图卷积神经网络的行人社交互动信息传递模块建模同一场景内行人间的社交互动特征;
步骤2.3、基于融入拉普拉斯混合分布思想的多模态未来轨迹解码模块对行人历史轨迹时空关联信息和社交互动特征进行综合分析与解码,预测轨迹分布以捕获未来轨迹的不确定性,得到行人的多模态未来运动轨迹。
4.根据权利要求1所述联合时空信息和社交互动特征的行人轨迹预测方法,其特征在于,所述步骤3的具体过程如下:通过计算行人轨迹预测网络模型生成的行人多模态未来运动轨迹与其真实轨迹的L2范数,筛选多模态未来运动轨迹中的最优预测轨迹;计算最优预测轨迹与其真实轨迹的均方损失误差,以指数型学习率调节器组建优化器,对预测结果利用反向梯度传播进行训练,从而得到最优的行人轨迹预测网络模型;
行人多模态未来运动轨迹中最优预测轨迹与其真实轨迹计算均方损失误差,如下公式所示,;
(4);
其中, 表示预测时间段内满足连续运动的行人轨迹,m表示mask中记录的满足条件的轨迹点个数, 表示多模态未来运动轨迹中最优轨迹的索引, 表示行人i未来预测时间段内多模态预测轨迹中第k个预测轨迹,表示行人i未来预测时间段内的真实轨迹,表示行人i未来预测时间段内的最优预测轨迹,表示行人i未来预测时间段内多模态预测轨迹; 表示均方损失误差。