欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020101848757
申请人: 陕西师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于场景约束GAN的行人轨迹预测方法,其特征在于步骤如下:步骤1:获取训练数据集

场景图象和行人轨迹均来源于公开数据集ETH和UCY的五个场景;行人轨迹为ETH和UCY中所有的坐标序列集合 即行人轨迹;其中,N为行人数量,pi为第i个行人,t为当前时刻; 为第i个行人pi在t时刻的坐标,T为整个时间长度;{pi|i∈[1,N]}为行人集合,场景图象 为在t时刻目标行人pi所在数据集抽取的场景视频帧;

步骤2:构建场景约束GAN网络模型

所述的场景约束GAN网络模型包括场景编码器、生成器和判别器;

场景信息张量 中包含着场景对于行人轨迹的约束,由场景编码器提取;其中场景信息张量 由公式(1)得到:t

其中,I是t时刻目标行人pi所在场景的帧画面,WCNN为场景编码器的权重;

所述的生成器由编码器、解码器和池化模块构成;首先对场景中的每个行人使用多层感知机提取其位置特征张量 然后使用基于LSTM的编码器提取行人历史轨迹,其中位置特征张量 由公式(2)获得;行人历史轨迹张量 由公式(3)得到:其中,Ф(·)是加入了ReLU非线性激活函数的嵌入层函数,Wee是嵌入层的权重系数;Wen是生成器中编码器的权重,在场景中所有目标行人共享LSTM参数; 是行人pi在t时刻的隐含状态;通过Ф(·)函数将行人坐标 嵌入到向量 中,作为编码器LSTM的输入,编码器学习每个人的运动状态,并保存他们的历史信息;

池化模块能将场景信息 对于行人轨迹的约束和行人之间的交互信息 嵌入到约束张量 中;在编码器获取到场景中所有目标行人t时刻的轨迹信息与场景信息后,池化模块将场景信息及行人之间的交互进行池化,引入场景对行人轨迹的约束,并为每个目标行人生成一个约束张量 约束张量 由公式(4)、(5)、(6)得到:其中,Ф(·)是加入了ReLU非线性激活函数的嵌入层函数,Wpe是嵌入层的权重;γ(·)是加入了ReLU非线性激活函数的多层感知机,Wp是多层感知机的权重;M是一个聚合函数,将行人做出决策需要的信息和约束汇聚到约束张量解码器同样由LSTM构成,使用含有ReLU非线性激活函数的多层感知机γ(·)将池化后得到的约束张量 嵌入到编码层隐藏状态 中得到fit,张量fit由公式(7)得到;再将随机噪声z引入得到 由公式(8)得到:其中,Wc为解码器嵌入层函数的权重,z是随机噪声;

约束张量 和隐藏层状态通过多层感知机后,再与上一时刻行人位置信息 利用解码器更新张量 的值, 由公式(9)(10)得到:用多层感知机预测时间步t+1目标pi的xy坐标 由公式(11)得到:其中,Wde是LSTM的权重系数;预测的多个时间步坐标集合即为预测的轨迹;

判别器是由一个LSTM和一个分类器构成,生成器预测的轨迹与真实的轨迹经过LSTM编码后,分类器会对其隐藏状态 进行分类,得到一个判断该轨迹为真/假得分score,由公式(12)(13)得到:将该得分score使用交叉熵函数即可得出分类结果;

步骤3:训练模型

使用交叉验证方式对场景约束GAN网络模型进行训练,即使用其中4个场景的数据训练网络,剩下的1个场景的数据进行测试,对5个场景的数据进行同样的操作;训练方法为:在生成器中采用L2损失函数计算预测的轨迹和真实轨迹之间的差值,由公式(14)得到:其中,Y为真实轨迹,为预测的轨迹;

在场景约束GAN网络模型中采用多样性的损失函数训练网络,以学习到行人普遍的行走模式和最佳的模型参数;在生成的多个轨迹中我们选择L2距离最小的,也就是预测最准确的一条轨迹作为预测结果;损失函数如公式(15)所示:步骤4:轨迹预测

在行人集合中任选一个行人pi,i∈[1,N]的部分或者全部轨迹轨迹 到其中1≤tobs

2.根据权利要求1所述的基于场景约束GAN的行人轨迹预测方法,其特征在于场景编码器是卷积神经网络,权重是在公共数据集中单独训练的,如ImageNet。

3.根据权利要求1所述的基于场景约束GAN的行人轨迹预测方法,其特征在于生成器中的编码器、解码器和判别器中的LSTM都为单层。

4.根据权利要求1所述的基于场景约束GAN的行人轨迹预测方法,其特征在于步骤1中行人数量N取值为106~1536。

5.根据权利要求1所述的基于场景约束GAN的行人轨迹预测方法,其特征在于判别器中使用的交叉熵函数为二分类交叉熵函数。