欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021114903174
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:授权未缴费
专利领域: 计算;推算;计数
更新日期:2023-06-25
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于自监督学习的神经网络编码方法,其特征在于,具体包括以下步骤:将搜索空间中的神经网络的结构用其邻接矩阵和操作矩阵进行表示,将结构的邻接矩阵进行同构图的数据增强,操作矩阵根据邻接矩阵进行相应变换;

从增强数据样本中提取表示向量的神经网络基编码器;

从搜索空间中随机采样N个样本,对每个样本分别进行两次数据增强后产生2N个数据点;

将来自同一个神经网络增强后的两个数据点被视为一个正对,剩下的2(N‑1)个样本与前两个数据点来自不同神经网络的增强,则视为其负对,用于预训练编码器;

使用NT‑Xent损失函数对神经网络基编码器进行训练,并将训练好的编码器后面接上MLP获得性能预测器;

利用损失函数对获得性能预测器进行微调,完成性能预测器的训练。

2.根据权利要求1所述的一种基于自监督学习的神经网络编码方法,其特征在于,神经网络的结构的邻接矩阵进行同构图的数据增强的过程包括:若待增强的神经网络为D,该网络顶点排序为v1,v2,......vn,其邻接矩阵为A(D);

对神经网络D的顶点进行重新标注为 得到新的神经网络D′,则神经网络D′的邻接矩阵为:

其中,A(D′)为神经网络D′的邻接矩阵,且为神经网络D的邻接矩阵进行同构图的数据增强后的邻接矩阵;Ei,j为初等矩阵对调两行(i,j)或对调两列(i,j)得后得到的初等矩阵。

3.根据权利要求1所述的一种基于自监督学习的神经网络编码方法,其特征在于,操作矩阵根据邻接矩阵进行相应变换,变换后的操作矩阵表示为:其中,O(D)为神经网络D的操作矩阵,O(D′)为神经网络D′的操作矩阵。

4.根据权利要求1所述的一种基于自监督学习的神经网络编码方法,其特征在于,NT‑Xent损失函数表示为:

其中,sim(zn,i,zn,j)为神经网络n的第i个增强zn,i和神经网络n的第j个增强zn,j的余弦相似度;τ为超参数。

5.根据权利要求4所述的一种基于自监督学习的神经网络编码方法,其特征在于,神经网络n的第i个增强zn,i和神经网络n的第j个增强zn,j的余弦相似度sim(u,v)表示为:其中,上标T表示矩阵或向量的转置;|| ||表示求向量的长度。

6.根据权利要求1所述的一种基于自监督学习的神经网络编码方法,其特征在于,对性能预测器进行微调的损失函数表示为:其中,yi表示第i个神经架构的真实性能,yj表示第j个神经架构的真实性能, 表示预测器的输出;λ1、λ2为超参数,控制排序损失函数和均方差损失函数之间的权重;n为需要预测性能的神经结构数量,m为超参数,取值为0.1。

7.一种基于自监督学习的神经网络编码器,其特征在于,包括搜索空间、采样模块、数据增强模块、神经网络基编码器训练模块、拼接模块以及性能预测器调整模块,其中:搜索空间,用于确定待搜索网络结构的候选集合;

采样模块,用于从搜索空间采样获得进行数据增强的样本;

数据增强模块,用于将采样得到的样本进行数据增强,并将数据增强的样本中来自同一个神经网络增强后的两个数据点被视为一个正对,其他样本数据增强后的样本作为正对的负对,作为神经网络基编码器训练模块的训练数据;

神经网络基编码器训练模块,随机从数据增强后中数据点提取其对应的神经网络基编码器,采用NT‑Xent损失函数对选择的编码器进行训练;

拼接模块,将神经网络基编码器训练模块训练完成得到的编码器后面接上MLP获得性能预测器;

性能预测器调整模块,利用损失函数对性能预测器调整模块进行微调,使用微调后的性能预测器对神经网络的性能进行预测。