欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021106282410
申请人: 淮阴工学院
专利类型:发明专利
专利状态:授权未缴费
专利领域: 计算;推算;计数
更新日期:2024-06-18
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于Attention机制的参考文献引用合法性预测方法,所述的引用合法性,是指目标文章中所提到的参考文献是否在文章中得到合法引用;其特征在于:将目标文章的单词序列[w1,w2,w3,…,wn]通过时间编码和位置编码后传入到Attention机制中,计算得到查询矩阵Query和键矩阵Key;使用pytorch.Embedding方法对需要检查引用合法性的文献全文的单词序列[s1,s2,s3,…,sn]进行编码得到编码后的键矩阵Value;利用查询矩阵Query、键矩阵Key和值矩阵计算Attention值;将计算过的Attention值通过一个全连接层进行线性变换;最后将线性变换后的结果输入到sigmoid层中计算出最后的合法性概率;具体步骤如下:步骤1:将目标文章的单词序列[w1,w2,w3,…,wn]输入进行时间编码,得到编码过后词向量矩阵A;步骤2:利用Attention机制对词向量矩阵A进行两次线性变换,得到查询矩阵Q,键矩阵K;步骤3:对需要预测的参考文献的单词序列r1,r2,r3,...,rn进行词嵌入,得到一个更高维度的值矩阵V;步骤4:对得出的查询矩阵Q、键矩阵K和值矩阵V计算相应的Attention值,得到注意力值矩阵D;步骤5:通过一个全连接网络对注意力值矩阵D进行线性变换,得到变换形状后的矩阵N;步骤6:通过Sigmoid激活函数对矩阵N进行激活,得到一个值在(0,1)之间的一维矩阵S,根据S得出最后的预测结果y。2.根据权利要求1所述的一种基于Attention机制的参考文献引用合法性预测方法,其特征在于,所述步骤1的具体方法为:步骤1.1:定义只含正文内容的目标文章的单词序列为src_vocab;步骤1.2:对输入的单词序列进行位置编码,将每个单词的位置信息传递到词向量矩阵A中。3.根据权利要求1所述的一种基于Attention机制的参考文献引用合法性预测方法,其特征在于,所述步骤2的具体方法为:步骤2.1:定义一个矩阵WQ,利用这个矩阵对所有的字向量进行线性变换,得到两个新的向量qt;步骤2.2:将所有的qt向量拼成一个大矩阵,记作查询矩阵Q;步骤2.3:定义一个矩阵WK,利用这个矩阵对所有的字向量进行线性变换,得到两个新的向量kt;步骤2.4:将所有的kt向量拼成一个矩阵,记作键矩阵K。4.根据权利要求1所述的一种基于Attention机制的参考文献引用合法性预测方法,其特征在于,所述步骤3的具体方法为:步骤3.1:定义参考文献数据集为Reference,数据Reference根据篇名进行划分,分别对应每篇参考文献的单词序列;其中,Reference=[r1,r2,…,ru,…,airm‑1,airm]T;ru=[s1,s2,s3,...,sn,];

u∈[1,m];步骤3.2:对参考文献进行初始化字编码,得到一个高维度矩阵V。5.根据权利要求3所述的一种基于Attention机制的参考文献引用合法性预测方法,其特征在于,所述步骤4的具体方法为:步骤4 .1:将步骤2 .2中的查询矩阵Q与步骤2 .4中的键矩阵K的转置KT相乘得到矩阵scores;步骤4.2:使用维度的根号与步骤4.1的结果相乘;

步骤4.3:使用Softmax对步骤4.2的结果进行数值转换;步骤4.4:将步骤4.3的结果与值矩阵V相乘得到最后的注意力矩阵D。6.根据权利要求5所述的一种基于Attention机制的参考文献引用合法性预测方法,其特征在于,所述步骤5的具体方法为:步骤5.1:定义一个全连接层,其形状为[in_features,out_features];步骤5.2:将步骤4.4的结果注意力矩阵D经过步骤5.1的全连接层进行线性变换得到矩阵N。7.根据权利要求6所述的基于Attention机制的参考文献引用合法性预测方法,其特征在于,所述步骤6的具体方法为:步骤6.1:定义一个使用Sigmoid函数的激活层;步骤6.2:将步骤5.2的结果N输入到激活层中,得到含有概率的最终预测结果y。