1.一种混合特征融合的中文化工文献分词方法,其特征在于,包括如下步骤:(1)从化工科学文献挖掘中文化工文献数据,并对文献数据进行预处理,得到清洗后语料T1,提取关键词构建化学技术行业中英文关键词库K;
(2)使用化学技术行业中英文关键词库K对挖掘的语料库数据进行分词标记和词性标注,得到化工文献语料T2,构建中英文词典V,训练并得到word2vec语言模型W;
(3)输入化工文献语料T2,处理每一条文本记录,通过语言模型W处理得到字向量序列S,分别输入到预先构建的CNN和BiLSTM模型中抽取局部特征向量集合Fc和上下文特征向量集合Fb,并融合特征Fc和Fb,得到融合后新的特征向量集合F;
(4)将步骤(3)得到新的特征向量集合F输入CRF模型,利用邻居标签信息提高标签标记准确性,训练混合特征融合的端到端中文分词模型,得到训练后的模型M;
(5)开放word2vec语言模型接口API,获取用户输入带分词文本T′,调用W模型接口对文本进行处理得到对应词向量;
(6)开放中文分词模型接口API,调用M模型接口,利用混合特征融合的中文分词模型M处理得到分词结果;封装分词结果返还WEB平台,通过ECharts对实体信息可视化返回用户,用户判断分词准确性并反馈处理,分词过程结束;
所述步骤(3)包括以下步骤:
(301)将化工文献语料T2输入到步骤(2)获得的语言模型W中;
(302)定义循环变量i2,赋初始值为1,遍历化工文献语料T2;
(303)如果i2≤N则跳转到步骤(304),否则跳转到步骤(312);
(304)对文本T2i2进行文本字符化,使文本切分为Max_len个字符,对超过长度Max_len的字符进行截断,长度不足以字符0标识;
(305)将文本T2i2通过word2vec语言模型W映射编码,得到字符w(i)组成的文本映射到文本矩阵s(i)=w(1),w(2),...,w(i);
(306)输入文本矩阵s(i),对其进行卷积操作,提取s(i)的局部特征C,计算公式为ci=RELU(X·W(i:i+r‑1)+b),其中,X为r×k的滤波器,b为偏置;W(i:i+r‑1)为s(i)从i到i+r‑1的r行向量;ci表示通过卷积操作得到的局部特征;
(307)通过最大池化的方法提取值最大的特征代替整个局部特征,以大幅降低特征向量的大小:di=max(C),其中C={c1,c2,...,cr};
(308)最后将所有池化后得到的向量输入全连接层进行组合输出特征向量Fc(i2)={d1,d2,...,dMax_len};
(309)输入文本矩阵s(i),对其进行卷积操作,提取s(i)的上下文特征L;
(310)分别计算t时刻LSTM前向语义输出Lf(t)和后向语义输出Lb(t);
(311)拼接隐藏层单向和反向输出Lt=Lf(t)+Lb(t),来捕获文档句子前后之间的语义信息,得到全局性文本特征Fb(i2)={L1,L2,...,LMax_len};
(312)i2=i2+1,转至步骤(303);
(313)得到包含局部特征的特征向量集合Fc和包含上下文特征向量集合Fb;
(314)将两个特征向量集合 融合以获得融合后新的特征向量集合 F=concat(Fc,Fb)。
2.根据权利要求1所述的混合特征融合的中文化工文献分词方法,其特征在于,所述步骤(1)包括以下步骤:(11)挖掘中文化工文献数据,包括文献摘要和关键词;
(12)对挖掘的化工文献数据进行去重,去除标点符号及特殊字符,得到清洗后语料库T1,其中T1={t1,t2,t3,…,tN},N为语料库大小;
(13)提取关键词构建化学技术行业中英文关键词库K。
3.根据权利要求1所述的混合特征融合的中文化工文献分词方法,其特征在于,所述步骤(2)包括以下步骤:(21)将步骤(1)中清洗后的语料库T1输入到自动化分词和词性标注程序中;
(22)定义循环变量i1,赋初始值为1,遍历清洗后语料库T1;
(23)如果i1≤N则跳转到步骤(24),否则跳转到步骤(26);
(24)使用化学技术行业中英文关键词库K对记录T1i1进行分词标记和词性标注,得到(word,label)二元组,word表示单词,label表示词性标记;
(25)i1=i1+1,转到步骤(23);
(26)使用YEDDA工具对标注后的数据进行补充标注,手动标识未匹配的关键词;
(27)构建中英文词典V;
(28)将分词后文本输入word2vec语言模型,训练并得到word2vec语言模型W。
4.根据权利要求1所述的混合特征融合的中文化工文献分词方法,其特征在于,所述步骤(4)包括以下步骤:(41)步骤(3)得到的融合后新的特征向量集合F及对应的序列标记Y作为CRF模型的输入;
(42)关注句子级别利用邻居标签信息,拟合特征向量集合F和Y之间的关系:Z(x)为归一化因子,可表示为Z
(x)=∑yexp(∑i,kvitk(yi‑1,yi,x,i)+∑i,luisl(yi,x,i)),其中,tk是状态转移函数,sl是发射函数,vk和ui分别为tk和sl对应的权值;
(43)得到混合特征融合的端到端中文分词模型M。
5.根据权利要求1所述的混合特征融合的中文化工文献分词方法,其特征在于,所述步骤(5)包括以下步骤:(51)用户输入待分词文本到中文分词模型M;
(52)开放word2vec语言模型接口API;
(53)创建线程池Thread Pool1;
(54)判断线程池Thread Pool1所有任务是否执行完毕;
(55)创建工作线程Child Thread1;
(56)处理待分词文本,创建词向量映射任务Task1;
(57)对待抽取领域专家文本进行预处理,获得词向量w,词向量映射任务结束;
(58)结束Child Thread1工作线程;
(59)关闭Thread Pool1线程池,词向量映射完成。
6.根据权利要求1所述的混合特征融合的中文化工文献分词方法,其特征在于,所述步骤(6)包括以下步骤:(601)开放中文分词模型接口API;
(602)创建线程池Thread Pool2;
(603)判断线程池Thread Pool2所有任务是否执行完毕;
(604)创建工作线程Child Thread2;
(605)输入步骤(5)中用户输入文本处理后的词向量w,创建分词任务Task2;
(606)调用M模型接口,利用混合特征融合的中文分词模型M处理得到分词结果;
(607)封装分词结果返还WEB平台,通过ECharts对实体信息可视化返回用户;
(608)用户判断分词结果准确性,若准确,转至步骤(610),若不准确,转至步骤(609);
(609)用户输入化工专业术语参考分词词汇,保存至化学技术行业中英文关键词库K;
(610)转至步骤(606),更新分词结果,分词任务Task2结束;
(611)结束Child Thread2工作线程;
(612)关闭Thread Pool2线程池;
(613)系统分词过程结束。