1.一种基于大数据分析的采集噪声点挖掘方法,其特征在于,包括以下步骤:步骤S1:获取待挖掘的原始大数据和数据领域,对所述原始大数据进行数据清洗,得到清洗大数据,根据所述数据领域,对所述清洗大数据进行数据标准化处理,得到标准化大数据;
步骤S2:对所述标准化大数据进行特征提取,得到大数据特征,构建所述大数据特征对应的特征矩阵,计算所述特征矩阵中每个矩阵对应的矩阵方差值,根据所述矩阵方差值,确定所述特征矩阵中的异常矩阵,其中,所述计算所述特征矩阵中每个矩阵对应的矩阵方差值,包括:通过下述公式计算所述特征矩阵中每个矩阵对应的矩阵方差值:其中,
其中,所述构建所述大数据特征对应的特征矩阵,包括:对所述大数据特征进行降维处理,得到降维特征,对所述降维特征进行向量转化,得到特征向量;
计算所述特征向量对应的特征向量值,将所述特征向量值作为所述大数据特征对应的特征值;
计算所述特征向量之间的向量相似系数,根据所述向量相似系数和所述特征值,构建所述大数据特征对应的特征矩阵;
其中,所述计算所述特征向量之间的向量相似系数,包括:通过下述公式计算所述特征向量之间的向量相似系数:
其中,
步骤S3:对所述标准化大数据进行线性转换,得到大数据线性值,根据所述大数据线性值,构建所述标准化大数据对应的数据散点图,计算所述数据散点图中每个数据点之间的距离值,得到数据点距离总值,根据所述数据点距离总值,确定所述数据散点图中的离散数据点;
其中,所述计算所述数据散点图中每个数据点之间的距离值,得到数据点距离总值,包括:通过下述公式计算所述数据散点图中每个数据点之间的距离总值:其中,
步骤S4:结合所述异常矩阵和所述离散数据点,确定所述标准化大数据中的噪声数据,提取所述噪声数据对应的数据信号,计算所述数据信号对应的信号稀疏值,并计算所述数据信号对应的信噪比,根据所述信噪比和所述信号稀疏值,查询所述噪声数据中的数据噪声点,提取所述数据噪声点对应的噪声特性,根据所述噪声特性,构建所述数据噪声点对应的噪声优化方案,根据所述噪声优化方案,执行所述数据噪声点的噪声优化处理,得到噪声优化处理结果;
其中,所述计算所述数据信号对应的信号稀疏值,包括:识别所述数据信号中的数据时域信号和数据频域信号,对所述数据时域信号进行傅里叶变换,得到变换数据信号;
根据所述变换数据信号和所述数据频域信号,对所述数据信号进行信号重构,得到目标数据信号;
计算所述目标数据信号对应的信号信息熵,将所述信号信息熵作为所述数据信号对应的信号稀疏值;
其中,所述计算所述目标数据信号对应的信号信息熵,包括:通过下述公式计算所述目标数据信号对应的信号信息熵:其中,
2.根据权利要求1所述的基于大数据分析的采集噪声点挖掘方法,其特征在于,所述根据所述数据领域,对所述清洗大数据进行数据标准化处理,得到标准化大数据,包括:调度所述数据领域的历史大数据,解析所述历史大数据中每个数据的数据架构,根据所述数据架构,确定所述历史大数据中每个数据的数据格式;
计量所述数据格式中每个格式的格式频次,根据所述格式频次,确定所述历史大数据中的标准格式;
查询所述标准格式对应的格式源代码,根据所述格式源代码,制定所述清洗大数据的格式转换器;
利用所述格式转换器对所述清洗大数据进行格式标准化处理,得到标准化大数据。
3.根据权利要求1所述的基于大数据分析的采集噪声点挖掘方法,其特征在于,所述根据所述大数据线性值,构建所述标准化大数据对应的数据散点图,包括:获取所述标准化大数据中每个数据的数据序列,并提取所述标准化大数据中每个数据的变量数据,所述变量数据包括自变量数据和因变量数据;
分析所述自变量数据和所述因变量数据之间的变量关系,根据所述变量关系和所述大数据线性值,计算所述自变量数据和所述因变量数据对应的变量值,得到第一变量值和第二变量值;
根据所述第一变量值、所述第二变量值以及所述数据序列,构建所述标准化大数据对应的数据散点图。
4.根据权利要求1所述的基于大数据分析的采集噪声点挖掘方法,其特征在于,所述根据所述噪声特性,构建所述数据噪声点对应的噪声优化方案,包括:查询所述噪声特性对应的特性指标,提取所述特性指标对应的指标参数;
计算所述指标参数与标准指标参数的参数差,根据所述参数差,确定所述特性指标中的待优化指标;
查询所述待优化指标中每个指标的优化规则,根据所述优化规则,构建所述数据噪声点对应的噪声优化方案。
5.一种基于大数据分析的采集噪声点挖掘系统,其特征在于,用于执行如权利要求1-4中任意一项所述的基于大数据分析的采集噪声点挖掘方法,所述系统包括:数据处理模块,用于获取待挖掘的原始大数据和数据领域,对所述原始大数据进行数据清洗,得到清洗大数据,根据所述数据领域,对所述清洗大数据进行数据标准化处理,得到标准化大数据;
矩阵方差计算模块,用于对所述标准化大数据进行特征提取,得到大数据特征,构建所述大数据特征对应的特征矩阵,计算所述特征矩阵中每个矩阵对应的矩阵方差值,根据所述矩阵方差值,确定所述特征矩阵中的异常矩阵,其中,所述计算所述特征矩阵中每个矩阵对应的矩阵方差值,包括:通过下述公式计算所述特征矩阵中每个矩阵对应的矩阵方差值:其中,
其中,所述构建所述大数据特征对应的特征矩阵,包括:对所述大数据特征进行降维处理,得到降维特征,对所述降维特征进行向量转化,得到特征向量;
计算所述特征向量对应的特征向量值,将所述特征向量值作为所述大数据特征对应的特征值;
计算所述特征向量之间的向量相似系数,根据所述向量相似系数和所述特征值,构建所述大数据特征对应的特征矩阵;
其中,所述计算所述特征向量之间的向量相似系数,包括:通过下述公式计算所述特征向量之间的向量相似系数:
其中,
离散点确定模块,用于对所述标准化大数据进行线性转换,得到大数据线性值,根据所述大数据线性值,构建所述标准化大数据对应的数据散点图,计算所述数据散点图中每个数据点之间的距离值,得到数据点距离总值,根据所述数据点距离总值,确定所述数据散点图中的离散数据点;
其中,所述计算所述数据散点图中每个数据点之间的距离值,得到数据点距离总值,包括:通过下述公式计算所述数据散点图中每个数据点之间的距离总值:其中,
噪声点优化模块,用于结合所述异常矩阵和所述离散数据点,确定所述标准化大数据中的噪声数据,提取所述噪声数据对应的数据信号,计算所述数据信号对应的信号稀疏值,并计算所述数据信号对应的信噪比,根据所述信噪比和所述信号稀疏值,查询所述噪声数据中的数据噪声点,提取所述数据噪声点对应的噪声特性,根据所述噪声特性,构建所述数据噪声点对应的噪声优化方案,根据所述噪声优化方案,执行所述数据噪声点的噪声优化处理,得到噪声优化处理结果;
其中,所述计算所述数据信号对应的信号稀疏值,包括:识别所述数据信号中的数据时域信号和数据频域信号,对所述数据时域信号进行傅里叶变换,得到变换数据信号;
根据所述变换数据信号和所述数据频域信号,对所述数据信号进行信号重构,得到目标数据信号;
计算所述目标数据信号对应的信号信息熵,将所述信号信息熵作为所述数据信号对应的信号稀疏值;
其中,所述计算所述目标数据信号对应的信号信息熵,包括:通过下述公式计算所述目标数据信号对应的信号信息熵:其中,