欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019100369273
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于堆叠Bi‑LSTM网络和协同注意力的虚拟学习环境智能问答方法,其特征在于,该方法具体包括以下步骤:

S1:特定领域教学知识库的构建及数据预处理:采集并构建特定领域教学知识库;训练Word2vec模型,使其学习到相关的知识结构和语法语义认知关系,将训练好的Word2vec模型作为词嵌入层获取问题和答案语句的词向量表示;

S2:特征提取及向量表示:采用堆叠Bi‑LSTM网络搭建并训练语句特征提取模型,在堆叠Bi‑LSTM网络的输出后加入co‑attention机制与attention机制,具体包括以下步骤:S21:堆叠Bi‑LSTM即双层双向长短时记忆网络,其运算传递过程为:将问答对向量序列分别输入单元LSTM网络,得到的ht输入双向LSTM网络,输出 yt继续作为下一层Bi‑LSTM网络输入,最终得到堆叠Bi‑LSTM网络的输出ht,对应问答对矩阵为:和 其中 为前向输出的

权重矩阵, 为后向输出的权重矩阵,by为输出yt的偏置顶, 为问题中第n个词的输出向量表示, 为答案中第m个词的输出向量表示,R为实数集; 表示t时刻前向隐藏层输出序列, 表示t时刻后向隐藏层输出序列;

S22:co‑attention机制衔接堆叠Bi‑LSTM网络,其核心组成为两部分,关联矩阵与soft‑max函数;关联矩阵 用于捕捉问答对向量间的关联性,soft‑maxQ m*n A

函数用于分配并生成问答对隐层状态的注意力权重A=soft max(L)∈R 和A=soft maxT n*m

(L)∈R ;

S23:attention机制首先采用max pooling固定问答对输出的大小,再经过soft‑max函数减少堆叠Bi‑LSTM网络与co‑attention机制特征提取过程中重要信息的丢失,最后得到问答对特征向量表示Oq和Oa,表达式为:其中,Wam和Wqm分别代表 和Oq的注意力矩阵,Saq(t)表示在t时刻答案向量的注意权重, 表示问题向量;

S3:向量匹配度计算:从空间和位置的双重角度同时考虑,对余弦相似度与欧几里德距离进行函数调和,计算问答对向量间的匹配度;

S4:虚拟课堂应用:利用基于Unity3D平台搭建虚拟学习环境并配置相应虚拟角色脚本程序,将训练好的特定领 域知识库教学问答系统通过Unity API接口引入虚拟学习环境,实现虚拟课堂中智能问答的可视化应用。

2.根据权利要求1所述的一种基于堆叠Bi‑LSTM网络和协同注意力的虚拟学习环境智能问答方法,其特征在于,所述步骤S1中,所述特定领域教学知识库的构建及数据预处理具体包括:构建特定领域教学知识库并训练浅层神经网络Word2vec模型,计算语句的词序列条件概率,把一个维数为所有词的数量的高维空间嵌入到一个低维的连续向量空间,其中每个单词或词组被映射为实数域上的向量。

3.根据权利要求1所述的一种基于堆叠Bi‑LSTM网络和协同注意力的虚拟学习环境智能问答方法,其特征在于,所述步骤S3具体包括以下步骤:S31:将余弦相似度与欧几里德距离进行结合,计算问答对特征向量Oq和Oa匹配度的调和函数公式为:

其中, 为余弦相似度,

为欧几里得距离;

S32:采用hinge损失函数对模型进行训练优化,该函数同时输入答案的正负样本,其训练目标函数为:

L=max{0,M‑Score(Oq,Oa+)+Score(Oq,Oa‑)}+λ||θ||其中,M为固定余量,λ,θ分别为正则化参数和神经网络参数;在训练过程中,采用反向传播算法计算梯度 并更新参数θ以实现目标函数的最小化;最后再根据最小目标函数Lmin更新参数;

S33:选用平均准确率MAP与平均召回率MRR作为模型的评价指标,MAP和MRR的值越高系统性能越好。

4.根据权利要求3所述的一种基于堆叠Bi‑LSTM网络和协同注意力的虚拟学习环境智能问答方法,其特征在于,所述步骤S4具体包括以下步骤:S41:结合特定的教学场景,利用虚拟现实技术在Unity3D平台中搭建虚拟学习环境,创建虚拟课堂并配置虚拟教师和虚拟学生模型,模拟现实教学授课场景;

S42:通过Unity API应用程序接口将已训练好的特定领 域知识库问答系统导入到虚拟学习环境中,实现面向虚拟学习环境的智能教学问答,实时为学生进行问题答疑。