欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2018110756032
申请人: 重庆邂智科技有限公司
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种监督的词向量学习方法,其特征在于:包括以下步骤:

步骤一,通过在word2vec神经网络模型的基础上增加词关系分类模型,搭建深度学习网络模型;

步骤二,将多个相邻的输入词向量和某一指定词向量输入到深度学习网络模型中进行多任务学习;

步骤三,重复步骤四,进行迭代计算,得到优化后的word2vec神经网络模型和词关系分类模型。

2.根据权利要求1所述的监督的词向量学习方法,其特征在于:在步骤一之前,将语料文本分词,建立词表和与词表对应的初始词向量。

3.根据权利要求2所述的监督的词向量学习方法,其特征在于:根据词表,标注语料文本中每个词向量与词向量彼此之间的关系。

4.根据权利要求1所述的监督的词向量学习方法,其特征在于:在步骤一中,词关系分类模型包括依次连接的输入层、拼接层、全连阶层以及概率层;其中拼接层将经过word2vec神经网络模型计算得到的输出向量Wi和输入到词关系分类模型的指定向量Wk按照以下公式进行拼接:[Wi,Wk,Wi-Wk,Wi°Wk,Cos(Wi,Wk)]。

5.根据权利要求2所述的监督的词向量学习方法,其特征在于:在步骤二中,通过初始词向量来定义输入词向量和指定词向量。

6.根据权利要求5所述的监督的词向量学习方法,其特征在于:在步骤二中,采用连续池袋模型向word2vec的神经网络模型输入与输出词向量相邻的多个词向量作为输入词向量。

7.根据权利要求4所述的监督的词向量学习方法,其特征在于:在步骤二中,在进行多任务学习时,word2vec神经网络盘模型在计算输出向量Wi的同时,词关系分类模型计算出Wi和Wk的关系label(Wk,Wi)。

8.根据权利要求1所述的监督的词向量学习方法,其特征在于:在步骤二中,word2vec神经网络通过误差反向传播机制对神经网络参数进行优化,误差包括霍夫曼树的分类误差和词关系分类误差。

9.根据权利要求1所述的监督的词向量学习方法,其特征在于:在步骤二中,词关系分类模型通过神经网络误差反向传播机制对全连接层参数进行优化。

10.根据权利要求1所述的监督的词向量学习方法,其特征在于:在步骤三中,将随机选出的多个输入向量和指定向量分别输入到word2vec神经网络模型和词关系分类模型中,计算得到一个输出词向量以及该输出词向量与指定词向量之间的关系。