欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2023103898203
申请人: 南京熊大巨幕智能科技有限公司
专利类型:发明专利
专利状态:已下证
专利领域: 乐器;声学
更新日期:2025-03-30
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种全向级联麦克风阵列降噪方法,其特征在于,包括:

获取由第一全向麦克风单元采集的第一目标声源信号和由第二全向麦克风单元采集的第二目标声源信号,所述第一全向麦克风单元和所述第二全向麦克风单元相互级联;

将所述第一目标声源信号的波形图通过作为过滤器的第一卷积神经网络模型以得到第一目标声源波形特征向量;

将所述第一目标声源信号的波形图和所述第二目标声源信号的波形图按照通道维度聚合为多通道声音波形图后通过作为特征提取器的第二卷积神经网络模型以得到协同声音波形特征矩阵;

以所述第一目标声源波形特征向量作为查询特征向量,计算其与所述协同声音波形特征矩阵之间的乘积以得到校正第一目标声源波形特征向量;

对所述校正第一目标声源波形特征向量进行数据流形局部优化以得到解码特征向量;

以及

将所述解码特征向量通过基于对抗生成网络的声音信号生成器以得到降噪后第一目标声源信号;

所述对所述校正第一目标声源波形特征向量进行数据流形局部优化以得到解码特征向量,包括:以如下公式对所述校正第一目标声源波形特征向量进行数据流形局部优化以得到解码特征向量;

其中,所述公式为:

其中, 表示所述校正第一目标声源波形特征向量, 表示所述解码特征向量,表示所述校正第一目标声源波形特征向量的二范数的平方, 表示所述校正第一目标声源波形特征向量的各特征值按大小次序排列的有序向量,且所述校正第一目标声源波形特征向量 是列向量形式, 表示 的转置矩阵, 表示向量点乘, 表示矩阵乘法。

2.根据权利要求1所述的全向级联麦克风阵列降噪方法,其特征在于,所述将所述第一目标声源信号的波形图通过作为过滤器的第一卷积神经网络模型以得到第一目标声源波形特征向量,包括:使用所述作为过滤器的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行处理:对所述输入数据进行卷积处理以得到卷积特征图;

对所述卷积特征图进行基于特征矩阵的均值池化处理以得到池化特征图;以及对所述池化特征图进行非线性激活以得到激活特征图;

其中,所述作为过滤器的第一卷积神经网络模型的最后一层的输出为所述第一目标声源波形特征向量,所述作为过滤器的第一卷积神经网络模型的第一层的输入为所述第一目标声源信号的波形图。

3.根据权利要求2所述的全向级联麦克风阵列降噪方法,其特征在于,所述将所述第一目标声源信号的波形图和所述第二目标声源信号的波形图按照通道维度聚合为多通道声音波形图后通过作为特征提取器的第二卷积神经网络模型以得到协同声音波形特征矩阵,包括:使用所述作为特征提取器的第二卷积神经网络模型的各层在层的正向传递中分别对输入数据进行处理:对所述输入数据进行卷积处理以得到卷积特征图;

对所述卷积特征图进行沿通道维度的池化处理以得到池化特征图;以及对所述池化特征图进行非线性激活以得到激活特征图;

其中,所述作为特征提取器的第二卷积神经网络模型的最后一层的输出为所述协同声音波形特征矩阵,所述作为特征提取器的第二卷积神经网络模型的第一层的输入为所述多通道声音波形图。

4.根据权利要求3所述的全向级联麦克风阵列降噪方法,其特征在于,所述作为特征提取器的第二卷积神经网络模型为深度残差网络。

5.根据权利要求4所述的全向级联麦克风阵列降噪方法,其特征在于,所述对抗生成网络包括鉴别器和生成器。

6.根据权利要求5所述的全向级联麦克风阵列降噪方法,其特征在于,所述将所述解码特征向量通过基于对抗生成网络的声音信号生成器以得到降噪后第一目标声源信号,包括:将所述解码特征向量输入所述基于对抗生成网络的声音信号生成器以由所述对抗生成网络的生成器通过至少两次反卷积编码生成所述降噪后第一目标声源信号。

7.一种全向级联麦克风阵列降噪系统,其特征在于,包括:

信号获取模块,用于获取由第一全向麦克风单元采集的第一目标声源信号和由第二全向麦克风单元采集的第二目标声源信号,所述第一全向麦克风单元和所述第二全向麦克风单元相互级联;

第一特征提取模块,用于将所述第一目标声源信号的波形图通过作为过滤器的第一卷积神经网络模型以得到第一目标声源波形特征向量;

第二特征提取模块,用于将所述第一目标声源信号的波形图和所述第二目标声源信号的波形图按照通道维度聚合为多通道声音波形图后通过作为特征提取器的第二卷积神经网络模型以得到协同声音波形特征矩阵;

校正模块,用于以所述第一目标声源波形特征向量作为查询特征向量,计算其与所述协同声音波形特征矩阵之间的乘积以得到校正第一目标声源波形特征向量;

数据流形局部优化模块,用于对所述校正第一目标声源波形特征向量进行数据流形局部优化以得到解码特征向量;以及声音信号生成模块,用于将所述解码特征向量通过基于对抗生成网络的声音信号生成器以得到降噪后第一目标声源信号;

所述数据流形局部优化模块,还用于:以如下公式对所述校正第一目标声源波形特征向量进行数据流形局部优化以得到解码特征向量;

其中,所述公式为:

其中, 表示所述校正第一目标声源波形特征向量, 表示所述解码特征向量,表示所述校正第一目标声源波形特征向量的二范数的平方, 表示所述校正第一目标声源波形特征向量的各特征值按大小次序排列的有序向量,且所述校正第一目标声源波形特征向量 是列向量形式, 表示 的转置矩阵, 表示向量点乘, 表示矩阵乘法。

8.根据权利要求7所述的全向级联麦克风阵列降噪系统,其特征在于,所述第一特征提取模块,进一步用于:使用所述作为过滤器的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行处理:对所述输入数据进行卷积处理以得到卷积特征图;

对所述卷积特征图进行基于特征矩阵的均值池化处理以得到池化特征图;以及对所述池化特征图进行非线性激活以得到激活特征图;

其中,所述作为过滤器的第一卷积神经网络模型的最后一层的输出为所述第一目标声源波形特征向量,所述作为过滤器的第一卷积神经网络模型的第一层的输入为所述第一目标声源信号的波形图。

9.根据权利要求8所述的全向级联麦克风阵列降噪系统,其特征在于,所述第二特征提取模块,进一步用于:使用所述作为特征提取器的第二卷积神经网络模型的各层在层的正向传递中分别对输入数据进行处理:对所述输入数据进行卷积处理以得到卷积特征图;

对所述卷积特征图进行沿通道维度的池化处理以得到池化特征图;以及对所述池化特征图进行非线性激活以得到激活特征图;

其中,所述作为特征提取器的第二卷积神经网络模型的最后一层的输出为所述协同声音波形特征矩阵,所述作为特征提取器的第二卷积神经网络模型的第一层的输入为所述多通道声音波形图。