1.基于浅层模型知识迁移的小样本深度学习方法,其特征在于该方法包括如下:步骤(1)、数据的预处理
针对原始一维时域波形信号进行滤波处理,去除原始信号中的高频噪声;
步骤(2)、人工特征的计算
2.1根据相关领域的先验知识和专家经验,针对步骤(1)处理后的一维时域波形信号计算最大幅值、均值等特征表示;
2.2根据相关领域的先验知识和专家经验采用傅里叶变换,将步骤(1)处理后的一维时域波形信号变换到频域,计算基/倍频向量、向量、功率谱等特征表示;
2.3根据相关领域的先验知识和专家经验采用短时傅里叶变换,将步骤(1)处理后的一维时域波形信号转换到具有二维结构的时频域的频谱图形式,提取频谱图的积分特征、方差特征、均方根特征等反映信号时频变换特性的特征表示;
步骤(3)、浅层模型的预训练与专家知识的数据化表达
3.1针对已有的稀少的带标签样本,根据步骤1和步骤2中的方法进行预处理和特征提取;
3.2采用浅层模型,基于上述特征和标签进行模型训练;
模型的任务与所建模的问题本身及标签的形式有关;
3.3基于分类准确率/预测误差等指标,设定准确率阈值;考虑模型复杂度,设定模型复杂度(参数量)和计算时间复杂度(模型运行时间)阈值;对上述训练得到的模型进行筛选,构成候选模型池;
3.4从上述候选模型池中随机选择模型,针对无标签样本数据进行预测,得到预测标签;
将上述不同候选模型的预测标签进行融合,与已有的稀少的有标签样本共同构建训练集,用于后续深度神经网络的训练;
步骤(4)、深度神经网络的训练和优选
4.1针对具体任务,设计深度神经网络结构;
若针对原始时域波形数据,可以设计一维卷积神经网络结构;
若针对频域特征,可以设计全连接或深度自编码器等网络结构;
若针对时频域的频谱图,可以设计二维卷积神经网络结构;
4.2利用步骤3中得到的混合数据集,采用小批量随机梯度下降法(Mini-BatchStochastic Gradient Descent)对网络进行训练,学习权重参数;
根据任务不同,分为分类任务和回归任务;分类任务采用柔性最大损失函数(Softmax Loss);回归任务可以采用均方误差函数(Mean Square Error);
4.3深度神经网络模型的评估和改进;
基于分类准确率/预测误差等指标,对上述深度神经网络模型的性能进行评估;
通过调整网络超参数,重新训练模型,并评估其性能;
通过改变步骤3.4中的候选模型随机选择构建的组合得到不同的融合预测标签,重新训练上述深度神经网络,并评估其性能;
根据上述评估结果,优选兼顾分类准确率/预测误差和网络复杂度(参数量和计算量)的模型作为最终模型。
2.如权利要求1所述的方法,其特征在于步骤(3)浅层模型可以是支持向量机(SVM),极限学习机(ELM),决策树(DT),置信规则库(BRB),证据推理(ER)等。
3.如权利要求1所述的方法,其特征在于步骤(3.2)训练方式包括两种:1)采用相同的人工特征,训练不同的浅层模型;2)对同一种浅层模型,改变不同的特征组合,进行模型训练。
4.如权利要求1所述的方法,其特征在于步骤(3.4)融合方法可以采用基于投票的简单多数法,基于投票的简单平均法等。