1.基于融合神经网络的雷达手势识别方法,其特征在于,包括以下步骤:
步骤一、将发射信号和接收信号输入到混频器,通过低通滤波器滤除高频部分,再经过采样和基带信号处理后得到中频信号SIF(t)和中频信号频率fIF。
步骤二、根据中频信号SIF(t)和中频信号频率fIF计算手势目标的距离d和速度v。
步骤三、对中频信号128个脉冲周期采样64个点进行快速傅里叶变换,将结果中同一频点的复信号生成一个新的频移信号,进而再对此信号进行FFT得到多普勒频移fFFT,从而可以生成手势的距离-速度图。
步骤四、根据MUSIC算法估计手势目标的角度θ。
步骤五、对雷达发送的每一帧信号估计按照步骤四计算角度,将计算结果按时间顺序构成一个角度时间图。
步骤六、将生成的距离-速度图预处理为深度学习网络的输入数据Xinput,并初始化三维卷积神经网络权重。
步骤七、将输入信号矩阵Xinput1进行卷积池化操作获取初步的浅层特征结果,得到池化矩阵Pool1。
步骤八、将池化矩阵Pool1重复步骤七中的卷积核池化操作,设置卷积核个数nkernel2,得到表示特征图的池化结果Pool2。
步骤九、对池化结果Pool2进行进一步的卷积池化以提取深度特征结果,得到池化矩阵Pool3。
步骤十、将池化矩阵Pool3按照步骤十一重复两次进行卷积核池化操作,得到nkernel5个f1′×m′1×n′1维的特征映射图Pool5,其中f1′表示特征图帧数,m′1和n′1分别表示特征图的宽和高。本实验中f1′=1,m′1=2,n′1=4。
步骤十一、将nkernel5个f1′×m′1×n′1维的特征映射图Feat5维度转置得到s1×s2维的特征向量Xfeature1,其中s1和s2分别表示特征向量的维度和长度。本实验中s1=1,s2=1024。
步骤十二、将生成的角度时间图预处理为深度学习网络的输入数据Xinput2,并初始化二维卷积神经网络权重。
步骤十三、将输入矩阵信号Xinput2根据步骤十二中的卷积核参数,重复步骤七中的卷积核池化操作,得到表示维度为f′2×m′2×n′2的特征映射图Feat,其中f′2表示特征图帧数,m′2和n′2分别表示特征图的宽和高。
步骤十四、将nkernel12个的特征映射图Feat维度转置得到s3×s4维的特征向量Xfeature2,其中s3和s4分别表示特征向量的维度和长度。本实验中s3=1,s4=1024。
步骤十五、将两组向量Xfeature1和Xfeature2并联组成融合特征向量,融合特征向量长度为的len特征向量中,每一步的维度为step。本实验中len=1024,step=2。
步骤十六、设置长短期记忆网络(Long Short-Term Memory,LSTM)的输入层为上一步骤中时间步长为len输入维数为step的融合特征向量Xfu,令X=Xfu,其中X的步长为len。
步骤十七、根据长短记忆网络的输入X,计算网络中输入门I、忘记门F、输出门O和候选隐藏状态G。
步骤十八、通过LSTM各个门计算网络隐层中最后一步的h×1维隐藏状态Ss1,并作为特征结果X′feature。
步骤十九、将最终形如X′feature=[x1 x2...xh]T的特征结果送入归一化指数函数进行计算结果矩阵 得到结果矩阵中值最大的角标y′=max(Xres),结果矩阵Xres的K个标量中第j个值 表示中频信号矩阵A被融合神经网络模型判别为第j类手势的概率,y′表示输入被判别为某一类手势的结果。
2.根据权利要求1所述的基于融合神经网络的雷达手势识别方法,其特点在于分别设计了一个三维卷积神经网络和一个二维卷积神经网络分别对距离-速度图和角度时间图进行特征提取。
3.根据权利要求1或2所述的基于融合神经网络的雷达手势识别方法,其特征在于将距离-速度图和角度时间图对应的两组向量并联组成融合特征向量,由此进行分类。