欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019101525705
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多任务学习的问答方法,其特征在于:包括以下步骤:

S1:为每个任务配备特定于任务的siamese编码器,将预处理后的句子编码为分布式向量表示;

S2:利用一个共享的表示学习层在不同的任务之间共享高级信息;

S3:特定于任务的softmax层分类,对于第k个任务中的问答对 及其标签 最后的特征表示形式被输入特定于任务的softmax层进行二进制分类;

S4:多任务学习:训练多任务学习模型,使交叉熵损失函数最小化;

步骤S1中,每个特定于任务的siamese编码器都包含一个单词编码器和一个知识编码器,用于学习完整的句子表示;

所述单词编码器使用双向长短期记忆网络Bi‑LSTM捕获上下文信息,所述单词编码器的输入为词向量表示序列Ew={ew1,ew2,…,ewl},第l个词的输出用 表示,其中为前向网络的输出, 为后向网络的输出,给定问题q和答案a的一对序列,为问题和答案生成基于单词的句子表示 即, 其中L和dh分别表示句子的长度和隐藏单元的大小;

所述知识编码器的输入为知识向量表示序列Ek={ek1,ek2,…,ekl},所述知识向量表示序列是由一系列符号化的实体或关系名组成的,由于实体长度的不确定性,采用多个不同

1 2 n

大小的滤波器得到不同的输出向量{H ,H ,…,H},其中Hi为第i个滤波器得到的输出向量,全连接层输入这些向量获得知识的句子表示 其中L是句子的长度,df是滤波器的总尺寸,根据问题q和答案a,基于知识的句子表示形式为:

2.根据权利要求1所述的基于多任务学习的问答方法,其特征在于:步骤S2中,还包括集成所有任务的编码向量,并通过高级共享Siamese Bi‑LSTM生成最终的问答表示,即,Sq=Bi‑LSTM(Hq);Sa=Bi‑LSTM(Ha),其中,Sq表示基于双向长短期记忆模型的共享表示层的问题输出,Hq表示问句向量表示;同理,Sa表示基于双向长短期记忆模型的共享表示层的答案输出,Ha表示答案向量表示。

3.根据权利要求1所述的基于多任务学习的问答方法,其特征在于:步骤S2中,还包括应用平均池化,对Bi‑LSTM的输出应用平均池化操作,sq=Average(Sq),sa=Average(Sa),最终特征空间表示为x=[sq,sa,xol]。

4.根据权利要求1所述的基于多任务学习的问答方法,其特征在于:步骤S3中,所述二t进制分类,包括 其中p 为预测概率, 和 为隐层中任

务特定权重矩阵和偏置向量。

5.根据权利要求1所述的基于多任务学习的问答方法,其特征在于:步骤S4中,所述多任务学习包括 其中,L为交叉熵损失函数,λt表示一个决定第t次任务的权重参数, 是问题答案对 的真实标签, 是问题答案对的预测概率。