欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2023103506989
申请人: 江西师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-12-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.融合习题和学习行为表征的顺序自注意力知识追踪模型,其特征是:包括嵌入模块、顺序自注意力模块、特征融合模块以及预测模块;嵌入模块连接顺序自注意力模块,顺序自注意力模块连接特征融合模块,特征融合模块连接预测模块;

关于嵌入模块,设置三个嵌入组件,分别是问题‑知识点嵌入组件QKE、历史表现嵌入组件HPE、遗忘行为嵌入组件FBE,三个嵌入组件提取的习题特征、学习行为特征作为知识追踪模型的嵌入接口,用于知识追踪模型的输入;具体为:通过问题‑知识点嵌入组件QKE的挖掘,得到习题特征 ;

通过历史表现嵌入组件HPE的挖掘,得到历史表现特征 ,通过遗忘行为嵌入组件FBE的挖掘,得到遗忘行为特征 ;

通过习题特征 、历史表现特征 、遗忘行为特征 得到嵌入模块的输出,嵌入模块的输出用综合表现向量 表示;

通过问题‑知识点嵌入组件QKE的挖掘,得到习题特征 ,见公式(1)、公式(2)和公式(3);

式中,表示问题编码,表示知识点编码, 表示习题特征,e表示问题向量, 由一个长度等于问题数M的独热编码得到,s表示问题对应的知识概念向量, 由一个长度等于知识概念数N的独热编码得到;关于 和 ,学生答对练习则在 和 第一维用1填充,其它位置用0填充,学生答错练习则在 和 最后一维用1填充,其它位置用0填充; 为拼接操作, 和b1分别表示 的权重和偏置,随机初始化,通过神经网络训练得到, 为激活函数;

通过历史表现嵌入组件HPE的挖掘,得到历史表现特征 ;见公式(4)、公式(5)和公式(6);

式中, 表示历史答对向量, 表示历史答错向量, 表示历史表现特征,OneHot表示独热编码,和 表示学生练习对应知识概念的历史最大答对数和历史最大答错数,和b2分别表示 的权重和偏置,随机初始化,通过神经网络训练得到;

通过遗忘行为嵌入组件FBE的挖掘,得到遗忘行为特征 ,见公式(7)、公式(8)和公式(9);

式中, 表示重复时间间隔向量, 表示序列时间间隔, 表示遗忘行为特征,OneHot表示独热编码,RT和 分别表示习题对应知识概念的重复时间间隔和序列时间间隔, 和b3分别表示 的权重和偏置,随机初始化,通过神经网络训练得到;

嵌入模块的输出用综合表现向量 表示,具体过程为:向量维度过大使得难以训练,将习题特征 、历史表现特征 、遗忘行为特征进行拼接,使用主成分分析进行向量降维,综合表现向量 计算公式见公式(10):;

关于顺序自注意力模块,具体为:

将嵌入模块输出的综合表现向量 ,输入到循环神经网络中,得到具有序列顺序特征的向量X,计算公式见公式(11):;

式中,X表示序列顺序特征的向量, 表示综合表现向量,LSTM表示循环神经网络;

将具有序列顺序特征的向量X输入到自注意力机制中,通过计算自注意力权重,得到自注意力机制的解码器输出全局特征m,见公式(12)和公式(13);

式中,Q、K、V分别为查询向量、键向量、值向量, 分别为查询向量、键向量和值向量的投影矩阵,随机初始化,通过循环神经网络的训练自动得到,D为查询向量Q的维度大小的常数,T表示矩阵转置,softmax表示归一化函数,归一化函数的操作将一个向量里面的各个数值计算成范围在0 1之间的一个数值,并且保证向量里面的各个数值之和等于~

1;

将具有序列顺序特征的向量X输入到自注意力机制中,编码器输出 ,再将输入到门控循环神经网络中得到上下文特征w,见公式(14)和公式(15);

式中, 表示顺序自注意力框架编码器的输出,Attention表示注意力机制,w表示上下文特征,GRU表示门控循环神经网络;

关于特征融合模块,具体为:

顺序自注意力模块获得全局特征m和上下文特征w两个潜在特征保留的信息,设计一个自适应的融合门来适应两个潜在特征的权值;

自适应的融合门计算公式见公式(16)、公式(17)、公式(18):;

式中, 表示控制上下文特征的权重, 表示控制全局特征的权重, 表示sigmoid激活函数,w表示上下文特征,m表示全局特征, 表示拼接操作,具体为上下文特征w和全局特征m的拼接, 分别表示 的权重和偏置,随机初始化,通过神经网络训练自动得到;s表示学生的知识状态向量, 表示点积;

关于预测模块,具体为:

将上下文特征w和全局特征m连接,得到学生的知识状态向量s,将需要预测的问题 与融合后的学生状态向量s连接起来,并使用包含Sigmoid激活函数的全连接层,最终输出学习者对预测问题的答对概率,用p表示,具体计算公式如下:;

式中,p表示学习者对预测问题的答对概率,Sigmoid为激活函数, 分别表示 的权重和偏置,随机初始化,通过神经网络训练得到,Relu为激活函数。