欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020113339103
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于多粒度多通道的神经网络的语义匹配方法,其特征在于,包括以下步骤:S1、使用预训练语言模型将输入的两个待检测句子划分为词语级和字符级的句子表示,使用字向量融合的方式代替未登录词向量,使用LayeNormalization算法对数据进行归一化;

S2、使用双向长短时记忆网络提取句子表示矩阵的上下文知识,并使用余弦距离处理双向长短时记忆网络提取的特征,生成匹配向量;

S3、使用一种基于交互的自注意力机制提取句子表示矩阵及其交互矩阵中的重点特征,生成对应的匹配向量;

S4、将获取的两种不同的距离向量进行拼接,由前馈神经网络得到高级特征向量并计算分类结果。

2.根据权利要求1所述的基于多粒度多通道的神经网络的语义匹配方法,其特征在于,使用字向量融合的方式代替未登录词向量的过程包括:检测预训练词向量中是否包含词语中的字,如果全部包含的话,则采用顺序相加的方式计算出该词向量;

如果只部分包含,则将该词语分解为包含部分和不包含部分两个部分,对包含部分直接采用预训练词向量,不包含部分则使用语言模型生成一个向量代替该部分向量,然后将所得的向量使用顺序相加的方式代替出未登录词向量。

3.根据权利要求2所述的基于多粒度多通道的神经网络的语义匹配方法,其特征在于,采用顺序相加的方式计算出词向量计算一个词的词向量:其中,Wordi表示词向量,charj则是对应词拆分后的字向量,n表示词拆分为字后的数量。

4.根据权利要求1所述的基于多粒度多通道的神经网络的语义匹配方法,其特征在于,使用余弦距离处理双向长短时记忆网络提取的特征计算匹配向量,同时使用一种基于交互的自注意力机制提取两个句子表示矩阵间的匹配特征。

5.基于多粒度多通道的神经网络的语义匹配装置,其特征在于,该装置包括句子表示模块、上下文知识提取模块、注意力提取模块、基于bi-LSMT特征提取模块、拼接模块以及前馈神经网络,其中:句子表示模块,用于将两个待检测的句子划分为词语级和字符级的句子表示,并进行预处理;

注意力提取模块,使用两个自注意力机制分别提取两个句子表示矩阵中的重要特征,再利用绝对距离计算两个句子在重要特征上的差异,然后将得到的差异特征交由一个新的自注意力机制提取得到最终的匹配向量;

基于bi-LSMT特征提取模块,使用双向长短时记忆网络提取句子表示矩阵的上下文知识,使用余弦距离处理双向长短时记忆网络提取的特征;

拼接模块,将注意力提取模块以及基于bi-LSMT特征提取模块的特征进行拼接;

前馈神经网络,将拼接模块拼接的信息输入前馈神经网络进行语义匹配。

6.根据权利要求5所述的基于多粒度多通道的神经网络的语义匹配方法,其特征在于,句子表示模块进行预处理的过程包括:检测预训练词向量中是否包含词语中的字,如果全部包含的话,则采用顺序相加的方式计算出该词向量;

如果只部分包含,则将该词语分解为包含部分和不包含部分两个部分,对包含部分直接采用预训练词向量,不包含部分则使用语言模型生成一个向量代替该部分向量,然后将所得的向量使用顺序相加的方式代替出未登录词向量。

7.根据权利要求6所述的基于多粒度多通道的神经网络的语义匹配方法,其特征在于,采用顺序相加的方式计算出词向量计算一个词的词向量:其中,Wordi表示词向量,charj则是对应分解后的字向量,n表示词拆分为字后的数量。

8.基于多粒度多通道的神经网络的语义匹配计算机程序,其特征在于,包括存储器和处理器,所述存储器存储计算机程序,所述计算机程序被配置为由所述处理器执行,所述计算机程至少包括执行一种基于多粒度多通道的神经网络的语义匹配方法个步骤的指令。