1.基于多维单步LSTM网络的车辆轨迹预测方法,其特征在于,包括以下具体步骤:S1,获取行车视频数据;
S2,确定S1获取视频数据所用摄像头的畸变参数,具体为:S21,使用行车记录仪拍摄标准矩形黑白棋盘格图片,并多次改变拍摄位置、拍摄角度与拍摄姿态,拍摄多张棋盘格图片;
S22,对S21拍摄得到的棋盘格图片的格角点进行检测,得到用于标定的三维点与其对应图像上的二维点对,对图像进行校准以获得S1获取视频数据所用摄像头内参数矩阵与畸变系数;
S3,构建基于YOLO的端到端车辆检测追踪模型,并对端到端车辆检测追踪模型进行优化;
S4,使用S22得到的摄像头内参数矩阵与畸变系数对S1所得视频数据进行逐帧的畸变矫正,得到一系列矫正后的图像,并使用S3得到的端到端车辆检测追踪模型对得到的矫正后的图像进行车辆边框检测,得到每一帧的车辆边框坐标信息;
S5,构建端到端的车辆轨迹预测模型,具体为:S51,建立多步LSTM时间序列预测模型:确定训练集中学习组和预测组的帧数以及测试集中学习组和预测组的帧数,定义LSTM模型有一个隐藏层,以及一个用于进行预测的输出层,其中该模型的隐藏层有50个LSTM单元,输出层预测单个数值;
S52,在算法层采用adam对损失函数mse对S51所构建的模型进行优化,得到优化后的端到端的车辆轨迹预测模型;
S6,将S3得到的车辆边框信息的X,Y坐标构成时间序列,分别输入S5所得端到端的车辆轨迹预测模型进行训练,得到预测的X,Y坐标序列,并绘制预测车辆的边框信息;
S7,车辆在行驶过程中,根据所得行车记录仪实时采集的视频信息、S5所构建的模型以及S6所得车辆的边框信息,实现车辆轨迹预测;S21中,在保证摄像头光圈、焦距不变的情况下,多次改变拍摄位置、拍摄角度,使棋盘格图片在摄像头视野内的左上角、右上角、左下角、右下角以及正中心不同位置,拍摄时设有倾斜角度,且使棋盘格图片占据摄像头视野的
1/4,拍摄15张棋盘格图片;构建基于YOLO的端到端车辆检测追踪模型,具体包括以下步骤:S31,使用ImageNet 1000类数据训练YOLO网络的前20个卷积层、1个平均池化层以及一个全连接层,得到预训练检测追踪模型;
S32,对S31得到的前20个卷积层网络参数来初始化YOLO模型的前20个卷积层的网络参数,然后使用转化为VOC格式的KITTI 3类标注数据集进行YOLO模型训练,得到训练检测追踪模型和权重参数;
S33,对S32所构建的模型进优化,在卷积层全部使用Batch Normalization对模型进行优化,得到优化后的端到端车辆检测追踪模型。
2.根据权利要求1所述的基于多维单步LSTM网络的车辆轨迹预测方法,其特征在于,S1中,行车中视频数据来自行车记录仪中的视频,采用H.264/MOV格式以1280×720的分辨率进行编码。
3.根据权利要求1所述的基于多维单步LSTM网络的车辆轨迹预测方法,其特征在于,S2中,使用单目摄像头,所拍摄的棋盘图片采用JPEG格式以1280×720分辨率进行编码。
4.根据权利要求1所述的基于多维单步LSTM网络的车辆轨迹预测方法,其特征在于,S32中,调整训练图像的分辨率为224×224;
S33中,调整输入图像分辨率为448×448。
5.根据权利要求1所述的基于多维单步LSTM网络的车辆轨迹预测方法,其特征在于,将步骤S4检测到的车辆边框坐标信息分为水平坐标X与竖直坐标Y,并逐帧构建时间序列X(X1,X2…Xi)与Y(Y1,Y2…Yi),分别对两个时间序列在S5中进行预测。
6.根据权利要求1所述的基于多维单步LSTM网络的车辆轨迹预测方法,其特征在于,采用均方和误差作为loss函数评估S32所得训练模型的稳健性和精确度,即网络输出的S*S*(B*5+C)维向量与真实图像的对应S*S*(B*5+C)维向量的均方和误差;loss为:其中coordError为预测数据与标定数据之间的坐标误差,iouError为IOU误差,classError为分类误差。
7.根据权利要求1所述的基于多维单步LSTM网络的车辆轨迹预测方法,其特征在于,S5中,训练集中学习组为第i~i+29帧,训练集中预测组为第i+60帧,测试集的学习组为第i+
30~i+59帧,测试集的预测组为第i+90帧,其中i=1,2,3…30为一个预测周期,预测周期取决于S1所获取视频数据的分辨率。
8.根据权利要求1所述的基于多维单步LSTM网络的车辆轨迹预测方法,其特征在于,S5中,模型的运行环境为:GeForce GTX 760、16GB RAM和Keras 2.2.4;网络各层均使用修正单元Relu作为激活函数。