欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2023112431619
申请人: 深圳市极客空间科技有限公司
专利类型:发明专利
专利状态:授权未缴费
专利领域: 乐器;声学
更新日期:2024-06-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种音频信号处理方法,其特征在于,包括以下步骤:

步骤S1:利用麦克风阵列设备进行目标音频信号收集,生成声音信号数据;对声音信号数据进行音频频率处理,生成音频频谱图;根据音频频谱图进行多模态信号处理,得到多模态信号数据;

步骤S2:对多模态信号数据进行时空噪声分析,从而得到信号噪声数据;

步骤S3:通过信号噪声数据对音频频谱图进行音频频谱图修正,生成修正音频频谱图;

步骤S4:根据修正音频频谱图以及多模态信号数据进行神经风格迁移处理,得到个性音频时频图;对个性音频时频图进行音频信号重建,从而得到个性音频数据;

步骤S5:对个性音频数据进行音频信号增强,生成个性增强音频数据;

步骤S6:对个性增强音频数据进行音频语义识别,从而生成个性音频语义数据;

其中,步骤S1包括以下步骤:步骤S11:利用麦克风阵列设备进行音频信号采集,生成声音信号数据;步骤S12:对声音信号数据进行时域滤波处理,生成标准音频信号数据;步骤S13:对标准音频信号数据进行频谱图转换,生成音频频谱图;步骤S14:根据音频频谱图进行声音波束成形分析,从而获得声源方位数据;步骤S15:通过摄像设备以及声源方位数据对声源进行图像捕捉,得到声源图像数据;步骤S16:对声源方位数据进行实时更新,并通过声源跟踪算法进行声源跟踪,从而得到声源运动数据;

其中,步骤S14包括以下步骤:步骤S141:通过预设的时间窗口对音频频谱图进行时域帧划分,得到时域频谱帧;步骤S142:对时域频谱帧进行频谱特征指标计算,生成时域频率数据;根据时域频率数据进行不同信号矩阵构建,从而获得信号频谱特征矩阵;步骤S143:对信号频谱特征矩阵进行矩阵点乘计算,生成互谱矩阵数据;步骤S144:根据互谱矩阵数据进行声源分离处理,得到预测声源位置数据;步骤S145:通过预设的假想声源网格图对麦克风阵列设备进行假想声源模拟,从而获得假想声源位置数据;步骤S146:将预测声源位置数据假想声源位置数据进行匹配度分析,从而得到声源方位数据;

其中,步骤S146中匹配度分析通过声源匹配公式进行匹配分析,其中声源匹配公式如下所示:式中,M(x)表示为声源匹配度,Ω

其中,步骤S16中声源跟踪算法如下所示:

式中,

其中,信号噪声数据包括潜在噪声数据以及动态噪声数据,步骤S2包括以下步骤:

步骤S21:获取声源环境数据;步骤S22:根据声源环境数据进行三维环境建模,生成三维环境模型;步骤S23:根据三维环境模型进行环境潜在噪声分析,生成潜在噪声数据;步骤S24:将声源图像数据以及声源运动数据进行时序融合,生成时序目标融合数据;步骤S25:通过声源方位数据对时序目标融合数据进行空间校准,生成时空融合数据;步骤S26:利用三维环境模型对时空融合数据进行空间仿真模拟,从而获得时空声源模型;步骤S27:根据时空声源模型进行动态噪声提取,生成动态噪声数据;

其中,步骤S3包括以下步骤:步骤S31:根据信号噪声数据进行标准噪声频率获取,得到标准噪声频谱图;步骤S32:对标准噪声频谱图进行噪声频点峰值检测,得到频点噪声数据;步骤S33:通过标准噪声频谱图对音频频谱图进行频谱图噪声标记,得到噪声音频频谱图;步骤S34:利用频点噪声数据对噪声音频频谱图进行频峰差异处理,生成差异频谱图;步骤S35:对差异频谱图进行频谱矫正,生成矫正音频频谱图;步骤S36:将矫正音频频谱图与音频频谱图进行频谱图还原,得到修正音频频谱图;

步骤S4包括以下步骤:步骤S41:根据多模态信号数据中声源图像数据进行实时主体检测,生成实时主体图像数据;步骤S42:对实时主体图像数据进行边缘检测处理,生成声源主体特征数据;步骤S43:利用预设的神经风格迁移模型对修正音频频谱图进行风格迁移学习,生成音频风格模型;步骤S44:利用音频风格模型对声源主体特征数据以及修正音频频谱图进行图像风格迁移,从而得到个性音频时频图;步骤S45:对个性音频时频图进行音频信号重建,从而得到个性音频数据;

通过音频频率处理和声波信号特征分析,根据采集设备对声源进行信号采集,将声音与视觉信息相结合,提供更丰富的多模态数据,深入地提取音频信号的时频特征和语义特征,实现综合分析音频信号。

2.根据权利要求1所述的音频信号处理方法,其特征在于,步骤S43包括以下步骤:步骤S431:获取预设的神经迁移风格模型以及初始化权重数据;

步骤S432:通过初始化权重数据对预设的神经迁移风格模型进行模型初始化,生成初始音频风格模型;

步骤S433:根据预设的音频风格标签数据进行标签嵌入矩阵处理,生成风格标签数据;

步骤S434:对初始音频风格模型进行风格特征层定制,并利用预设的初始化策略进行初始化新层权重,生成初始音频风格层;

步骤S435:通过风格标签数据对初始音频风格层进行特征匹配通道创建,生成音频风格特征层;

步骤S436:通过音频风格特征层对初始音频风格模型进行迁移学习模型构建,从而获得未训练的音频风格模型;

步骤S437:利用未训练的音频风格模型对修正音频频谱图进行迁移学习训练,从而生成音频风格模型。

3.一种音频信号处理系统,其特征在于,用于执行如权利要求1-2任一项所述的音频信号处理方法,该音频信号处理系统包括:音频信号采集模块,用于利用麦克风阵列设备进行目标音频信号收集,生成声音信号数据;对声音信号数据进行音频频率处理,生成音频频谱图,根据音频频谱图进行声波信号特征分析,得到多模态信号数据;

时空噪声分析模块,用于对多模态信号数据进行时空噪声分析,从而得到信号噪声数据;

音频信号修正模块,用于通过信号噪声数据对音频频谱图进行音频频谱图修正,生成修正音频频谱图;

个性风格迁移模块,用于根据修正音频频谱图以及多模态信号数据进行神经风格迁移处理,得到个性音频时频图;对个性音频时频图进行音频信号重建,从而得到个性音频数据;

音频信号增强模块,用于对个性音频数据进行音频信号增强,生成个性增强音频数据;

音频语义识别模块,用于对个性增强音频数据进行音频语义识别,从而生成个性音频语义数据。