1.一种基于Transformer和自编码器提取特征表示的软测量建模方法，其特征在于：包括以下步骤：步骤1：获取数据并进行数据预处理；获取工业系统中的历史数据，由于这些数据量纲不一使得模型的学习效果不是特别好，以及这些数据的顺序具有一定的规律会影响模型的预测性能；通过步骤1.1和步骤1.2对数据进行最大最小归一化和随机化的预处理操作；为了训练模型获得从无标签数据中学习信息的能力，训练集数据中需要包含无标签数据，步骤1.3进行数据集的划分；

步骤1.1：对所有变量的数据进行最大最小归一化操作，将全部变量的数据范围统一起来，具体方法如下：其中max和min分别表示某变量的最大值和最小值，x'表示该变量进行最大最小归一化操作后的结果；

步骤1.2：将数据进行随机化操作，打乱顺序，得到训练数据集；

步骤1.3：为了训练模型具有从无标签数据中学习信息的能力，训练集数据中需要包含无标签数据，以1:1的比例把训练数据划分为有标签数据和无标签数据，其中有标签数据保留了标签信息，无标签数据不保留标签信息；

步骤2：建立子模型1——重构模型；重构模型以全部训练集数据的N个辅助变量作为输入，输入数据既包含有标签数据集中的辅助变量数据，也包含无标签数据集中的辅助变量数据；重构模型是一个嵌入了Transformer的自编码器，包含编码器和解码器；首先通过步骤2.1、2.2、2.3、2.4构建编码器，然后通过步骤2.5构建解码器；

N

步骤2.1：升维；升维操作将数据调整为合适的维度，有N个辅助变量的输入向量X∈R 被N×D升维成X∈R ，其中D是每个辅助变量升维后的维度；

步骤2.2：位置编码；位置编码的具体方法如下：

N×D

其中，pos表示位置，d表示维度；得到的位置编码结果PE∈R ，将步骤2.1得到的X和PE相加得到注入了位置信息的XPE；

步骤2.3：Transformer编码器层；将步骤2.2得到的XPE进入T个Transformer编码器模块提取全局非线性特征；每个Transformer编码器结构如图4所示；XPE在一个Transformer编码器中先进行多头注意力计算，“多头”意味着将XPE划分成几个子空间，子空间的数量就是头的数量，在每个子空间headh中做关于可训练矩阵qh,kh,vh的自注意力计算，多头注意力计算方式如下：MHA(XPE)＝project(Concat(head1,head2,…,headh))headh＝Attention(qh,kh,vh)

为了提高表示能力，需要做残差连接操作，多头注意力结果MHA(XPE)和原始XPE相加；层归一化操作起到了加速收敛的作用；经过两层前馈神经网络之后再次做残差连接和层归一化操作；

步骤2.4：降维；步骤2.3得到的全局非线性特征在此步骤中经由全局平均池化层整合N D信息并降维，此时得到的是对X∈R的特征表示H∈R；

D

步骤2.5：解码；将步骤2.4得到的特征表示H∈R输入解码器，解码器由三层全连接层构成，各层的神经元个数分别是[58,48,38]，为了防止过拟合，dropout层被应用在各层之间；

N

解码器解码后得到重构的输入数据X_recon∈R；

步骤3：训练子模型1——重构模型；为了充分利用有标签数据，让有标签数据的标签参与模型的训练过程中，根据各个输入变量X和标签Y的相关性系数确定各个变量的重构误差权重，得到的损失函数用来训练重构模型；每个辅助变量和标签的相关性系数计算公式为：其中，m表示样本数量；CORR表示N个变量和标签的相关性系数矩阵；

N个变量的重构误差权重矩阵为ρ，具体操作如下：

重构模型的损失函数可以表示为：

步骤4：建立子模型2——回归模型；回归模型以有标签数据的辅助变量特征表示作为输入，输出预测的蒸汽量数据；回归模型是一个多层感知机结构；通过步骤4.1获得回归模型的输入，通过步骤4.2构建回归模型；

步骤4.1：获得回归模型的输入；回归模型是一种有监督学习的方法，只能处理有标签数据集的特征表示；将有标签数据集的辅助变量Xlabeled输入训练好的重构模型，得到特征表示Hlabeled，特征表示Hlabeled就是回归模型的输入；

步骤4.2：利用步骤4.1中得到的特征表示Hlabeled构建回归模型，回归模型通过四层非线性全连接层将输入映射为输出Y_prelabeled；全连接层各层的神经元个数分别设置为[32,

16,8,1]，非线性激活函数为Sigmoid函数；每层非线性全连接层的表示如下：Y_prelabeled＝f(wHlabeled+b)

其中，f(·)是Sigmoid非线性激活函数，w，b是可训练的模型参数；

步骤5：训练子模型2——回归模型；以均方误差作为损失函数，通过反向传播算法调整回归模型的参数；均方误差损失函数表示为：其中，Ylabeled是有标签数据集的标签值，mlabeled是有标签数据及集的样本数量；

步骤6：验证本发明提出的模型性能；把工业过程中的真实数据输入训练好的模型进行预测，模型的预测评价指标采用均方误差MSE、均方根误差RMSE和平均绝对误差MAE，MSE、RMSE和MAE的值越小，表示模型的预测精度越高；MSE、RMSE和MAE的计算公式如下：其中，m表示样本数据的个数，yi, 分别表示样本i的真实值和预测值。