1.一种基于多模态深度神经网络的驾驶注意力检测方法,其特征在于,所述基于多模态深度神经网络的驾驶注意力检测方法包括:S1:获取原始公开数据集中的脑电数据和眼电数据;
S2:分别对所述脑电数据和所述眼电数据进行预处理,得到预处理后的眼电数据和预处理后的脑电数据;
S3:根据所述预处理后的眼电数据和所述预处理后的脑电数据,对多模态深度神经网络进行训练,得到训练好的多模态深度神经网络;
其中,所述多模态深度神经网络包括依次设置的多尺度并行卷积模块、下采样模块、全连接层和决策融合层;其中,所述多尺度并行卷积模块有多个,多个所述多尺度并行卷积模块堆叠设置;
所述多尺度并行卷积模块用于提取输入数据的局部特征和全局特征,并将所述局部特征和所述全局特征融合后依次进行归一化处理和Relu激活函数处理后输出至下采样模块;
所述下采样模块用于压缩所述多尺度并行卷积模块输出数据的尺寸,并将压缩后的输出数据传输至所述全连接层;
所述全连接层用于将下采样模块压缩后的数据特征进行分类;
所述决策融合层用于根据全连接层的输出以及驾驶注意力检测过程中眼电数据和脑电数据各自对应的权重,生成驾驶注意力检测结果;
所述S3包括:
S31:分别将所述预处理后的脑电数据和预处理后的眼电数据划分为训练集和验证集;
S32:利用所有训练集对所述多模态深度神经网络进行训练;
S33:根据各训练集在各测试集上的错误率,确定驾驶注意力检测过程中眼电数据和脑电数据各自对应的权重;
S34:根据所述眼电数据和脑电数据各自对应的权重,确定数据融合计算公式;
S35:为所述多模态深度神经网络赋予所述数据融合计算公式,以得到训练好的多模态深度神经网络;
所述S33包括:
其中, 表示权值, 表示错误率;
S4:利用所述训练好的多模态深度神经网络对驾驶输入图像进行注意力检测,得到驾驶注意力检测结果。
2.根据权利要求1所述的基于多模态深度神经网络的驾驶注意力检测方法,其特征在于,所述S2中,对所述脑电数据进行预处理包括:将所述脑电数据的原始信号进行频段分解,得到分解后的脑电数据;其中,所述分解后的脑电数据包括多个波段的频段信号;
提取所述分解后的脑电数据的微分熵特征;
对所述微分熵特征进行归一化处理,得到预处理后的脑电数据。
3.根据权利要求2所述的基于多模态深度神经网络的驾驶注意力检测方法,其特征在于,所述微分熵特征的计算公式为:其中, 表示时间序列 的微分熵特征, 表示圆周率, 表示以 为底的指数函数,log表示对数函数, 表示时间序列且服从高斯分布 , 和 为时间序列的均值和方差。
4.根据权利要求1所述的基于多模态深度神经网络的驾驶注意力检测方法,其特征在于,所述S2中,对所述眼电数据进行预处理包括:利用3种不同的方式提取所述眼电数据中的36维特征,得到预处理后的眼电数据。
5.根据权利要求1所述的基于多模态深度神经网络的驾驶注意力检测方法,其特征在于,所述S34中,所述数据融合计算公式为:
其中, 表示融合结果, 表示预处理后的脑电数据,表示脑电数据的权重, 表示预处理后的眼电数据,
表示眼电数据的权重。
6.根据权利要求1所述的基于多模态深度神经网络的驾驶注意力检测方法,其特征在于,所述多尺度并行卷积模块包括卷积输入层、浅层并行卷积块、深层并行卷积块、特征融合部分、第三归一化层和激活函数层;
所述卷积输入层的输出结果同时作为所述浅层并行卷积块和所述深层并行卷积块的输入;
所述浅层并行卷积块用于提取输入数据的局部特征且包括浅层压缩卷积函数层和多个并行设置的第一多尺度卷积块,所述浅层压缩卷积函数层的输出同时作为各第一多尺度卷积块的输入,各所述第一多尺度卷积块的输出作为所述浅层压缩卷积函数层的输出,并且,各所述第一多尺度卷积块分别包括一维卷积函数层和常量填充函数层;
所述深层并行卷积块用于提取输入数据的全局特征且包括第一深层压缩卷积函数层、第二深层压缩卷积函数层以及多个并行设置的第二多尺度卷积块,所述卷积输入层的输出结果作为所述第一深层压缩卷积函数层的输入,所述第一深层压缩卷积函数层的输出作为所述第二深层压缩卷积函数层的输入,所述第二深层压缩卷积函数层的输出同时作为各所述第二多尺度卷积块的输入,各所述第二多尺度卷积块的输出融合后作为所述深层并行卷积块的输出,并且,各所述第二多尺度卷积块分别包括两组函数组,每组函数组分别包括一个一维卷积函数和一个常量填充函数;
所述浅层并行卷积块的输出和所述深层并行卷积块的输出同时作为所述特征融合部分的输入,所述特征融合部分用于对所述局部特征和所述全局特征进行特征融合,以得到特征融合结果;
所述第三归一化层的输入为所述特征融合结果,其输出作为所述激活函数层的输入,所述激活函数层的输出为所述多尺度并行卷积模块的输出。
7.根据权利要求6所述的基于多模态深度神经网络的驾驶注意力检测方法,其特征在于,所述浅层压缩卷积函数层定义为:各所述第一多尺度卷积块的计算为:
所述第二深层压缩卷积函数层的计算为:
所述第二多尺度卷积块的计算为:
所述特征融合部分、所述第三归一化层和所述激活函数层的计算为:其中, 表示卷积核为1的卷积函数, 表示输入数据且, 表示批量大小, 表示数据通道数, 表示
特征维度; 表示常量填充函数, 表示卷积函数, 分别表示第一多尺度卷积块1特征、第一多尺度卷积块2特征、第二多尺度卷积块1特征、第二多尺度卷积块2特征、第二多尺度卷积块3特征, 表示浅层压缩卷积特征、深层压缩卷积特征, 表示多尺度并行卷积模块的输出, 表示特征融合, 表示归一化函数,表示Relu激活函数。
8.根据权利要求1所述的基于多模态深度神经网络的驾驶注意力检测方法,其特征在于,所述下采样模块包括依次设置的输入层、卷积层、平均池化层、降维层、Relu函数层和过拟合层;
所述下采样模块的计算公式为:
其中, 表示多尺度并行卷积特征,X表示输入数据且, 表示批量大小, 表示特征维度,数据通道为
85, 表示降维函数, 表示平均池化函数, 表示Dropout函数,表示Relu激活函数, 表示Batch Normalization归一化函数, 表示卷积核为1的卷积函数。
9.根据权利要求1所述的基于多模态深度神经网络的驾驶注意力检测方法,其特征在于,所述多模态深度神经网络的损失函数为:其中, 表示样本数, 表示第 个样本的真实标签为 , 表示第 个样本预测为第 个标签值的概率, 表示 分类任务。