欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2017109019524
申请人: 百度在线网络技术(北京)有限公司
专利类型:发明专利
专利状态:已下证
专利领域: 乐器;声学
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种文本转换模型的训练方法,其特征在于,所述方法包括:将输入文本对应的输入字符序列中的字符依次输入待生成的文本转换模型对应的神经网络中,所述文本转换模型对应的神经网络包括编码器和解码器;

对所述输入字符序列中的每个字符,基于所述解码器中的隐藏层在对输入的上一个字符解码后的状态,采用所述编码器进行编码,得到所述字符的中间语义向量,并采用所述解码器对所述中间语义向量进行解译,得到所述字符的预测结果;

根据所述输入字符序列的预测结果与所述输入文本对应的标注结果之间的差异,对所述神经网络的参数进行调整,所述标注结果包括已标注的与所述输入文本的正则化文本对应的目标字符序列;

其中,所述输入文本对应的输入字符序列是按照如下方式生成的:按照第一预设粒度对所述输入文本进行分割得到第一分割结果;

对所述第一分割结果中的非汉字字符进行相应的标签化处理,得到所述输入字符序列;

所述目标字符序列是按照如下方式生成的:

将与所述输入文本对应的正则化文本按照第二预设粒度进行分割得到第二分割结果;

对所述第二分割结果中的多音字字符和与所述输入文本中的非汉字字符对应的字符进行相应的标签化处理。

2.根据权利要求1所述的方法,其特征在于,所述编码器由循环神经网络构建,包括与所述输入字符序列中的各字符一一对应的多个隐节点;

所述基于所述解码器中的隐藏层在对输入的上一个字符解码后的状态,采用所述编码器进行编码,得到所述字符的中间语义向量,包括:基于所述解码器中的隐藏层在对输入的上一个字符解码后的状态,计算所述编码器中各隐节点的状态权重;

基于所述状态权重,对各所述隐节点的状态进行加权求和得到输入的当前字符的中间语义向量。

3.根据权利要求2所述的方法,其特征在于,所述将输入文本对应的输入字符序列中的字符依次输入待生成的文本转换模型对应的神经网络中,包括:将所述输入字符序列中的字符分别按照正向排序和反向排序依次输入所述待生成的文本转换模型对应的神经网络中;

所述编码器是由双向循环神经网络构建的,包括双层隐节点,所述双层隐节点中的一层隐节点对应按照正向排序输入的字符,所述双层隐节点中的另一层隐节点对应按照反向排序输入的字符。

4.根据权利要求1所述的方法,其特征在于,所述非汉字字符包括以下至少一项:符号字符、连续数字字符、连续字母字符;

所述对所述第一分割结果中的非汉字字符进行相应的标签化处理,包括:将所述第一分割结果中的符号字符替换为所述符号字符的读音类型的标签,将所述第一分割结果中的连续数字字符替换为所述连续数字字符的语义类型的标签、在所述第一分割结果中的连续字母字符的首尾两端添加字母标签。

5.根据权利要求4所述的方法,其特征在于,

所述第二分割结果中的与所述输入文本中的非汉字字符对应的字符包括以下至少一项:与所述输入文本中的连续数字字符对应的第一汉字字符串、与所述输入文本中的符号字符对应的第二汉字字符串、以及与所述输入文本中的连续字母字符对应的多个字母字符;

所述对所述第二分割结果中的多音字符和与所述输入文本中的非汉字字符对应的字符进行标签化处理,包括:将所述第二分割结果中的多音字符替换为用于标识所述多音字字符的读音类型的标签,将所述第二分割结果中的第一汉字字符串替换为对应的所述连续数字字符的语义类型的标签,将所述第二分割结果中的第二汉字字符串替换为对应的所述符号字符的读音类型的标签,在所述第二分割结果中的连续字母字符对应的多个字母字符的首尾两端添加字母标签。

6.一种文本转换方法,其特征在于,所述方法包括:

获取已按照第一预设粒度对待处理文本进行分割,并将分割结果中的非汉字字符进行标签化处理后得到的待处理字符序列;

将所述待处理字符序列输入已训练的文本转换模型,得到输出字符序列;

提取出所述输出字符序列中的用于标识多音字字符的读音类型的标签;

对所述输出字符序列中的字符进行去标签化处理,并按顺序组合标签化处理后的各字符,得到所述待处理文本的正则化文本;

其中,所述文本转换模型基于如权利要求1-5任一项所述的方法训练。

7.根据权利要求6所述的方法,其特征在于,所述非汉字字符包括以下至少一项:符号字符、连续数字字符、连续字母字符;

所述分割结果中的非汉字字符是按照如下方式进行标签化处理的:将分割结果中的符号字符替换为所述符号字符的读音类型的标签,将分割结果中的连续数字字符替换为所述连续数字字符的语义类型的标签、将分割结果中的连续字母字符拆分为单个字母字符并在连续字母字符的首尾两端添加字母标签。

8.根据权利要求7所述的方法,其特征在于,所述输出字符序列中的字符包括以下至少一项:与所述待处理文本中的单个非多音汉字字符对应的单个汉字字符、用于标识所述待处理文本中的多音字字符的读音类型的标签、与所述待处理文本中的连续数字字符对应的语义类型标签、与所述待处理文本中的符号字符对应的读音类型标签、以及与所述待处理文本中的连续字母字符对应的首尾两端包括字母标签的多个字母;

所述对所述输出字符序列中的字符进行去标签化处理,包括:

将所述输出字符序列中用于标识所述待处理文本中的多音字字符的读音类型的标签替换为对应的多音字字符;

将所述输出字符序列中与所述待处理文本中的连续数字字符对应的语义类型标签替换为与所述语义类型标签对应的汉字字符;

将所述输出字符序列中与所述待处理文本中的符号字符对应的读音类型标签替换为与所述读音类型标签对应的汉字字符;

将所述输出字符序列中的字母标签删除。

9.一种文本转换模型训练装置,其特征在于,所述装置包括:输入单元,用于将输入文本对应的输入字符序列中的字符依次输入待生成的文本转换模型对应的神经网络中,所述文本转换模型对应的神经网络包括编码器和解码器;

预测单元,用于对所述输入字符序列中的每个字符,基于所述解码器中的隐藏层在对输入的上一个字符解码后的状态,采用所述编码器进行编码,得到所述字符的中间语义向量,并采用所述解码器对所述中间语义向量进行解译,得到所述字符的预测结果;

调整单元,用于根据所述输入字符序列的预测结果与所述输入文本对应的标注结果之间的差异,对所述神经网络的参数进行调整,所述标注结果包括已标注的与所述输入文本的正则化文本对应的目标字符序列;

其中,所述输入文本对应的输入字符序列是按照如下方式生成的:按照第一预设粒度对所述输入文本进行分割得到第一分割结果;

对所述第一分割结果中的非汉字字符进行相应的标签化处理,得到所述输入字符序列;

所述目标字符序列是按照如下方式生成的:

将与所述输入文本对应的正则化文本按照第二预设粒度进行分割得到第二分割结果;

对所述第二分割结果中的多音字字符和与所述输入文本中的非汉字字符对应的字符进行相应的标签化处理。

10.根据权利要求9所述的装置,其特征在于,所述编码器由循环神经网络构建,包括与所述输入字符序列中的各字符一一对应的多个隐节点;

所述预测单元进一步用于按照如下方式采用所述编码器进行编码,得到所述字符的中间语义向量:基于所述解码器中的隐藏层在对输入的上一个字符解码后的状态,计算所述编码器中各隐节点的状态权重;

基于所述状态权重,对各所述隐节点的状态进行加权求和得到输入的当前字符的中间语义向量。

11.根据权利要求10所述的装置,其特征在于,所述输入单元进一步用于按照如下方式将输入文本对应的输入字符序列中的字符依次输入待生成的文本转换模型对应的神经网络中:将所述输入字符序列中的字符分别按照正向排序和反向排序依次输入所述待生成的文本转换模型对应的神经网络中;

所述编码器是由双向循环神经网络构建的,包括双层隐节点,所述双层隐节点中的一层隐节点对应按照正向排序输入的字符,所述双层隐节点中的另一层隐节点对应按照反向排序输入的字符。

12.根据权利要求9所述的装置,其特征在于,所述非汉字字符包括以下至少一项:符号字符、连续数字字符、连续字母字符;

所述第一分割结果中的非汉字字符是按照如下方式进行相应的标签化处理的:将所述第一分割结果中的符号字符替换为所述符号字符的读音类型的标签,将所述第一分割结果中的连续数字字符替换为所述连续数字字符的语义类型的标签、在所述第一分割结果中的连续字母字符的首尾两端添加字母标签。

13.根据权利要求12所述的装置,其特征在于,所述第二分割结果中的与所述输入文本中的非汉字字符对应的字符包括以下至少一项:与所述输入文本中的连续数字字符对应的第一汉字字符串、与所述输入文本中的符号字符对应的第二汉字字符串、以及与所述输入文本中的连续字母字符对应的多个字母字符;

所述对所述第二分割结果中的多音字符和与所述输入文本中的非汉字字符对应的字符进行标签化处理,包括:将所述第二分割结果中的多音字符替换为用于标识所述多音字字符的读音类型的标签,将所述第二分割结果中的第一汉字字符串替换为对应的所述连续数字字符的语义类型的标签,将所述第二分割结果中的第二汉字字符串替换为对应的所述符号字符的读音类型的标签,在所述第二分割结果中的连续字母字符对应的多个字母字符的首尾两端添加字母标签。

14.一种文本转换装置,其特征在于,包括:

获取单元,用于获取已按照第一预设粒度对待处理文本进行分割,并将分割结果中的非汉字字符进行标签化处理后得到的待处理字符序列;

转换单元,用于将所述待处理字符序列输入已训练的文本转换模型,得到输出字符序列;

提取单元,用于提取出所述输出字符序列中的用于标识多音字字符的读音类型的标签;

处理单元,用于对所述输出字符序列中的字符进行去标签化处理,并按顺序组合标签化处理后的各字符,得到所述待处理文本的正则化文本;

其中,所述文本转换模型基于如权利要求1-5任一项所述的方法训练。

15.根据权利要求14所述的装置,其特征在于,所述非汉字字符包括以下至少一项:符号字符、连续数字字符、连续字母字符;

所述分割结果中的非汉字字符是按照如下方式进行标签化处理的:将分割结果中的符号字符替换为所述符号字符的读音类型的标签,将分割结果中的连续数字字符替换为所述连续数字字符的语义类型的标签、将分割结果中的连续字母字符拆分为单个字母字符并在连续字母字符的首尾两端添加字母标签。

16.根据权利要求15所述的装置,其特征在于,所述输出字符序列中的字符包括以下至少一项:与所述待处理文本中的单个非多音汉字字符对应的单个汉字字符、用于标识所述待处理文本中的多音字字符的读音类型的标签、与所述待处理文本中的连续数字字符对应的语义类型标签、与所述待处理文本中的符号字符对应的读音类型标签、以及与所述待处理文本中的连续字母字符对应的首尾两端包括字母标签的多个字母;

所述处理单元进一步用于按照如下方式对所述输出字符序列中的字符进行去标签化处理:将所述输出字符序列中用于标识所述待处理文本中的多音字字符的读音类型的标签替换为对应的多音字字符;

将所述输出字符序列中与所述待处理文本中的连续数字字符对应的语义类型标签替换为与所述语义类型标签对应的汉字字符;

将所述输出字符序列中与所述待处理文本中的符号字符对应的读音类型标签替换为与所述读音类型标签对应的汉字字符;

将所述输出字符序列中的字母标签删除。

17.一种设备,其特征在于,包括:

一个或多个处理器;

存储装置,用于存储一个或多个程序,

当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。

18.一种设备,其特征在于,包括:

一个或多个处理器;

存储装置,用于存储一个或多个程序,

当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求6-8中任一所述的方法。

19.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5中任一所述的方法。

20.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求6-8中任一所述的方法。