1.一种石英砂超声波清洗控制系统,其特征在于,包括:数据获取模块,用于获取预定时间段的由超声波发生装置输出的超声波信号以及由摄像头采集的所述预定时间段的清洗监控视频;
关键帧提取模块,用于从所述预定时间段的清洗监控视频中提取多个清洗监控关键帧;
空间增强模块,用于将所述多个清洗监控关键帧中各个清洗监控关键帧分别通过使用空间注意力的第一卷积神经网络模型以得到多个清洗监控特征矩阵;
嵌入转化模块,用于将所述多个清洗监控特征矩阵分别通过线性嵌入层转化为向量后以得到多个清洗监控特征向量;
双向长短期记忆模块,用于将所述多个清洗监控特征向量通过双向长短期记忆神经网络模型以得到清洗上下文理解特征向量;
特征过滤模块,用于将所述超声波信号的波形图通过作为特征过滤器的第二卷积神经网络模型以得到超声波特征向量;
位移秩序化融合模块,用于对所述超声波特征向量和所述清洗上下文理解特征向量进行位移秩序化融合以得到平滑融合特征矩阵;
分类结果生成模块,用于将所述平滑融合特征矩阵通过分类器以得到分类结果,所述分类结果用于表示当前时间点的超声波发生装置的功率值应增大或应减小;
其中,所述空间增强模块,用于:
使用空间注意力的第一卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行:对输入数据进行卷积处理以生成第一卷积特征图;
对所述第一卷积特征图进行池化处理以生成第一池化特征图;
对所述第一池化特征图进行非线性激活以生成第一激活特征图;
计算所述第一激活特征图的各个位置沿通道维度的均值以生成第一空间特征矩阵;
计算所述第一空间特征矩阵中各个位置的类Softmax函数值以获得第一空间得分矩阵;
计算所述第一空间特征矩阵和所述第一空间得分矩阵的按位置点乘以获得第一特征矩阵;
其中,所述使用空间注意力的第一卷积神经网络模型的最后一层输出的所述第一特征矩阵为所述多个清洗监控特征矩阵;
其中,所述嵌入转化模块,用于:
使用所述线性嵌入层的可学习嵌入矩阵分别对所述多个清洗监控特征矩阵中各个清洗监控特征矩阵进行线性嵌入编码以得到所述多个清洗监控特征向量;
其中,所述特征过滤模块,用于:
使用作为特征过滤器的第二卷积神经网络模型的各层在层的正向传递中分别进行:对输入数据进行卷积处理以得到第二卷积特征图;
对所述第二卷积特征图进行基于局部特征矩阵的均值池化以得到第二池化特征图;
对所述第二池化特征图进行非线性激活以得到第二激活特征图;
其中,所述作为特征过滤器的第二卷积神经网络模型的最后一层的输出为所述超声波特征向量,所述作为特征过滤器的第二卷积神经网络模型的第一层的输入为所述超声波信号的波形图;
其中,所述位移秩序化融合模块,包括:
位移秩序化单元,用于对所述超声波特征向量和所述清洗上下文理解特征向量进行位移秩序化以得到秩序化超声波特征向量、秩序化清洗上下文理解特征向量、超声波特征向量位置索引向量和清洗上下文理解特征向量位置索引向量;
初始融合单元,用于基于所述超声波特征向量位置索引向量和所述清洗上下文理解特征向量位置索引向量,对所述秩序化超声波特征向量和所述秩序化清洗上下文理解特征向量进行融合以得到初始融合特征矩阵;
矩阵分解单元,用于对所述初始融合特征矩阵进行基于特征值的矩阵分解以得到多个特征值向量;
矩阵排列单元,用于将所述多个特征值向量排列为矩阵以得到所述平滑融合特征矩阵。
2.根据权利要求1所述的石英砂超声波清洗控制系统,其特征在于,所述关键帧提取模块,用于:以预定采样频率对所述预定时间段的清洗监控视频进行关键帧采样以得到所述多个清洗监控关键帧。
3.根据权利要求2所述的石英砂超声波清洗控制系统,其特征在于,所述分类结果生成模块,包括:展开单元,用于将所述平滑融合特征矩阵按照行向量或列向量展开为分类特征向量;
全连接编码单元,用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量;
分类结果生成单元,用于将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
4.一种石英砂超声波清洗控制方法,其特征在于,包括:获取预定时间段的由超声波发生装置输出的超声波信号以及由摄像头采集的所述预定时间段的清洗监控视频;
从所述预定时间段的清洗监控视频中提取多个清洗监控关键帧;
将所述多个清洗监控关键帧中各个清洗监控关键帧分别通过使用空间注意力的第一卷积神经网络模型以得到多个清洗监控特征矩阵;
将所述多个清洗监控特征矩阵分别通过线性嵌入层转化为向量后以得到多个清洗监控特征向量;
将所述多个清洗监控特征向量通过双向长短期记忆神经网络模型以得到清洗上下文理解特征向量;
将所述超声波信号的波形图通过作为特征过滤器的第二卷积神经网络模型以得到超声波特征向量;
对所述超声波特征向量和所述清洗上下文理解特征向量进行位移秩序化融合以得到平滑融合特征矩阵;
将所述平滑融合特征矩阵通过分类器以得到分类结果,所述分类结果用于表示当前时间点的超声波发生装置的功率值应增大或应减小,其中,将所述多个清洗监控关键帧中各个清洗监控关键帧分别通过使用空间注意力的第一卷积神经网络模型以得到多个清洗监控特征矩阵,包括:使用空间注意力的第一卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行:对输入数据进行卷积处理以生成第一卷积特征图;
对所述第一卷积特征图进行池化处理以生成第一池化特征图;
对所述第一池化特征图进行非线性激活以生成第一激活特征图;
计算所述第一激活特征图的各个位置沿通道维度的均值以生成第一空间特征矩阵;
计算所述第一空间特征矩阵中各个位置的类Softmax函数值以获得第一空间得分矩阵;
计算所述第一空间特征矩阵和所述第一空间得分矩阵的按位置点乘以获得第一特征矩阵;
其中,所述使用空间注意力的第一卷积神经网络模型的最后一层输出的所述第一特征矩阵为所述多个清洗监控特征矩阵;
其中,将所述多个清洗监控特征矩阵分别通过线性嵌入层转化为向量后以得到多个清洗监控特征向量,包括:使用所述线性嵌入层的可学习嵌入矩阵分别对所述多个清洗监控特征矩阵中各个清洗监控特征矩阵进行线性嵌入编码以得到所述多个清洗监控特征向量;
其中,将所述超声波信号的波形图通过作为特征过滤器的第二卷积神经网络模型以得到超声波特征向量,包括:使用作为特征过滤器的第二卷积神经网络模型的各层在层的正向传递中分别进行:对输入数据进行卷积处理以得到第二卷积特征图;
对所述第二卷积特征图进行基于局部特征矩阵的均值池化以得到第二池化特征图;
对所述第二池化特征图进行非线性激活以得到第二激活特征图;
其中,所述作为特征过滤器的第二卷积神经网络模型的最后一层的输出为所述超声波特征向量,所述作为特征过滤器的第二卷积神经网络模型的第一层的输入为所述超声波信号的波形图;
其中,对所述超声波特征向量和所述清洗上下文理解特征向量进行位移秩序化融合以得到平滑融合特征矩阵,包括:对所述超声波特征向量和所述清洗上下文理解特征向量进行位移秩序化以得到秩序化超声波特征向量、秩序化清洗上下文理解特征向量、超声波特征向量位置索引向量和清洗上下文理解特征向量位置索引向量;
基于所述超声波特征向量位置索引向量和所述清洗上下文理解特征向量位置索引向量,对所述秩序化超声波特征向量和所述秩序化清洗上下文理解特征向量进行融合以得到初始融合特征矩阵;
对所述初始融合特征矩阵进行基于特征值的矩阵分解以得到多个特征值向量;
将所述多个特征值向量排列为矩阵以得到所述平滑融合特征矩阵。