1.基于9轴传感器的驾驶行为视觉感知方法,其特征在于包括以下步骤:
步骤(1)、9轴传感器实时采集行驶过程中车辆的加速度和角速度数据,并对其进行预处理,得到x‑y方向的加速度和角速度数据;
步骤(2)、摄像头实时采集行驶过程中车辆周边环境视频,提取图像信息;
步骤(3)、采用弱监督深度学习方式,利用特征提取、聚类和混淆矩阵判别相结合的方式实现9轴传感器的数据和视频数据融合,并对驾驶行为的判别,具体过程如下:
3.1将步骤(2)图像输入到resnet模型获取图像的特征信息;其中resnet模型的输入为步骤(2)图片数据,输出为一维特征向量;
3.2采用4个LSTM模型以实现对四种不同驾驶行为的分类;再对LSTM1至LSTM3输出分类结果和步骤(1)预处理后的加速度和角速度进行时序同步,然后利用混淆矩阵计算灵敏度和精度指标,最后判断精度或灵敏度指标是否小于阈值,若是则LSTM1至LSTM3进入自训练流程,即仅触发LSTM4;反之则触发LSTM1至LSTM3,即触发LSTM1至LSTM4;
LSTM1模型的输入是步骤3.1输出的特征向量,输出是急加速和非急加速的分类;
LSTM2模型的输入是步骤3.1输出的特征向量,输出是急减速和非急减速的分类;
LSTM3模型的输入是步骤3.1输出的特征向量,输出是急转向和非急转向的分类;
LSTM4模型的输入是步骤3.1输出的特征向量,输出是风险变道和正常变道的分类;
3.3使用聚类算法对步骤(3)输出的分类结果进行分类,得到跟车过近和风险变道分类结果;
步骤(4)、考虑结合车身CAN数据总线获取的转向灯状态的自身车辆的驾驶行为变道风险系数,以及自身车辆的车速信息,根据公式(1)获得自身车辆的风险结果;
Riski=xi*yi 公式(1)
其中xi表示第i种驾驶行为的变道风险系数,yi表示第i种驾驶行为的车速风险系数,i=1、2分别表示跟车过近和风险变道两种驾驶行为;
若驾驶行为跟车过近时,
变道风险系数 其中a1为常数,根据经验值设定;
若驾驶行为风险变道时,
变道风险系数 其中a2、a3为常数,根据经验值设定;
车速风险系数 其中a4、a5、a6、a7、a8、a9为常数,根据经
验值设定;Ai表示第i驾驶行为车速风险权重系数;v表示自身车辆的当前车速;
步骤(5)、步骤(4)自身车辆风险结果传送至实时决策处理单元,判断自身车辆的风险结果是否大于阈值,若是则通过CAN数据总线发送“辅助刹车请求”指令给车辆的整车控制器VCU,同时实时决策处理单元将刹车和方向盘转向信号以中断信号的方式将数据传输给中央处理模块;反之则不向CAN数据总线发送信息,同时实时决策处理单元持续采集车辆CAN数据。
2.根据权利要求1所述的方法,其特征在于步骤(1)预处理采用卡尔曼滤波和滑动平均滤波串联的方式。
3.根据权利要求1所述的方法,其特征在于LSTM1至LSTM3的自训练流程中损失函数采用交叉熵函数E(Nk,yk),使得交叉熵函数达到最小值:混淆矩阵中真实值:Nk=P(xk,Ts)
其中yk为k时刻LSTM1、LSTM2和LSTM3模型预测得到的急加速、急减速和急转向的分类概率值,xk为k时刻测量得到的加速度或角速度信号;Ts表示判断急加、急减或急转向对应的阈值athresh1、athresh2或ωthresh;P为逻辑判断函数。
4.根据权利要求3所述的方法,其特征在于当xk大于Ts取1,反之取0。
5.根据权利要求1所述的方法,其特征在于步骤(3.3)聚类算法采用k‑means算法。
6.一种基于9轴传感器的驾驶行为视觉感知装置,其特征在于包括摄像头、9轴传感器、第一数据预处理模块、第二数据预处理模块、中央处理模块、实时决策处理单元;
所述摄像头用于采集车辆行驶过程中周围环境的视频信息,然后传输给第一数据预处理模块;
所述9轴传感器用于采集车辆行驶过程中车辆自身的加速度和角速度数据,然后传输给第二数据预处理模块;
所述第一数据预处理模块用于接收摄像头采集数据,并对其进行解码压缩,获得数字图像,然后传送至中央处理模块;
所述第二数据预处理模块用于接收9轴传感器采集数据,并对其进行滤波预处理,然后传送至中央处理模块;
所述中央处理模块包括时序同步模块、深度学习模块、触发判断模块、分类模块、自身车辆风险计算模块;深度学习模块包括resnet模型、LSTM1模型、LSTM2模型、LSTM3模型、LSTM4模型;resnet模型接收第一数据预处理模块传送的数字图像进行图像特征提取;
LSTM1模型、LSTM2模型、LSTM3模型、LSTM4模型分别接收resnet模型输出的特征进行急加、急减、急转向、变道分类,然后发送至触发判断模块;触发判断模块根据深度学习模块传送的分类结果和时序同步模块处理后的9轴传感器的加速度和角速度,利用混淆矩阵计算精度或灵敏度指标,根据阈值判断结果触发LSTM1模型、LSTM2模型、LSTM3模型;分类模块使用聚类算法对深度学习模块输出的分类结果进行分类,得到跟车过近和风险变道分类结果;
自身车辆风险计算模块根据分类模块输出的驾驶行为分类结果结合实时决策处理单元传送的车辆状态信息,计算得到自身车辆的风险结果,然后传送至实时决策处理单元和车内中控显示屏;时序同步模块用于第二数据预处理模块传送的9轴传感器的加速度和角速度的值与LSTM1模型、LSTM2模型、LSTM3模型、LSTM4模型的输出值做时间采样的同步;
所述实时决策处理单元是用于监控车辆自身信息的单元,从车身CAN数据总线获车辆状态信息,并通过UART异步收发传输器传输到中央处理模块;同时若自身车辆风险大于阈值,实时决策处理单元将刹车和方向盘转向信号以中断信号的方式将数据传输给中央处理模块;同时若综合风险评估结果大于阈值,实时决策处理单元通过CAN总线发送“辅助刹车请求”指令给车辆的整车控制器VCU。
7.根据权利要求6所述的装置,其特征在于所述实时决策处理单元采用cortex‑m3处理器。
8.根据权利要求6所述的装置,其特征在于所述车内中控显示屏还可以搭载语音播报系统,用以实时提醒驾驶员车辆风险。
9.根据权利要求6所述的装置,其特征在于还可以包括移动客户端,中央处理模块通过WIFI/4G/5G的方式将数据信息同步共享到移动客户端和后台数据中心。