欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019111175638
申请人: 中国矿业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于新型卷积神经网络的矿山灾害事件检测方法,其特征在于:首先构建矿山灾害类事件语料集,然后设计检测模型架构,利用设计的检测模型架构训练检测模型及检测新文本所含事件信息;

具体步骤如下:

步骤一、首先构建矿山灾害类事件语料集,包括三个阶段:

a1分析及整理矿山灾害事件类别体系,将矿山灾害类事件语料集为一条文本对应一个灾害类事件标签的结构生成矿山灾害类事件语料库,若文本中包含某类矿山灾害事件,则为其标注相应的事件类别,若不包含事件类别,标记为无灾害类事件;

a2从网络和各大数据控中根据灾害事件体系有针对性的搜集灾害事件信息;

a3将收集的矿山灾害类事件信息分配相应的事件标签,包含灾害事件信息则分配相应的灾害事件类别标签,不包含则分配无灾害事件标签,即完成矿山灾害类事件语料集的构建;

步骤二、设计检测模型架构,检测模型架构分为混合特征输入层和模型主体框架层的设计2部分:

b1采用混合特征层的思路设计模型混合输入层设计部分,将语料中每个字符对应的字符级、词级位置和实体特征向量拼接为一个混合特征向量,构建细粒度和语义性更强的混合特征输入层,用以挖掘文本深层次的语义和结构信息;

b2模型主体框架层设计部分,选择模型类型为文本分类模型,将迭代式空洞卷积神经网络IDCNN引入到灾害检测领域中,改善卷积神经网络CNN难以有效提取篇章级文本特征的弊端,同时将高速神经网络Highway与IDCNN结合构建新型卷积神经网络HIDCNN组合模型;

采用tensorflow1.2.0中的tf.nn.atrous_conv2d方法搭建具有膨胀系数δ的DCNN网络,若δ=1时,此时DCNN网络则相当于传统CNN网络,当δ>1时,在层数和卷积核尺寸一致的情况下,DCNN网络块由δ分别为1、2、4的三层DCNN网络构成;

采用迭代法堆叠DCNN网络块,构成迭代式空洞卷积神经网络IDCNN:迭代块Net为包含δ为1、2、4的三层DCNN网络,最优迭代次数k我4,依次将第k轮迭代中Net中最后一层的输出向量作为第k+1轮迭代的输入向量Xk+1,若迭代轮数超过设定的阈值,则停止迭代,IDCNN模型迭代结束后添加一层δ为1的DCNN层,确保后续网络层得到完整信息,迭代过程采用tensorflow1.2.0中的for循环搭建;

将Highway高速神经网络与IDCNN结合,以改善检测模型训练过程中出现的过拟合、梯度爆炸的现象,即将Highway网络作为IDCNN和Softmax分类层的连接层,构成基于HIDCNN的灾害事件检测模型,优化卷积层提取的特征,避免特征信息流衰减严重的问题,确保分类层处理的特征向量信息完整,以保证检测模型训练的收敛性;

模型后续连接Dropout层和Softmax分类层,构成完整的矿山灾害事件检测模型;

步骤三、训练检测模型,在检测模型搭建完毕的基础上将矿山灾害类语料集逐次输入检测模型,依据训练结果不断调整检测模型参数,直至检测模型训练准确性及损失率最优,即检测模型训练完毕;

步骤四、检测新文本所含事件信息部分:将需要检测的文本输入训练好的检测模型,将检测模型检测出结果作为新文本的标签,即可实现灾害类事件检测的任务要求。

2.根据权利要求1所述基于新型卷积神经网络的矿山灾害事件检测方法,其特征在于将矿山灾害事件分类为:顶板事故、瓦斯事故、机电事故、运输事故、爆破事故、水害事故和火灾事故7大类,每一大类再细分相应的子事件,加上无事件类,不考虑其中的层级结构总共分为22个预定义的矿山灾害事件类。

3.根据权利要求1所述基于新型卷积神经网络的矿山灾害事件检测方法,其特征在于获取字符级、词级和实体特征向量的方法为:

1)字符向量从预训练字符向量集的字符向量集中获取,使用Word2Vec中的Skip-gram模型训练矿山灾害类事件语料集,构建完整的预训练字符向量集,向量化为语料的每一个字符分配相应的字符向量Chari;

2)词级向量选用随机初始化的空间向量,首先借助哈工大开源的ltp语言处理工具中的分词模型对语料进行分词操作,并按照词结构信息为语料分配相应的数字,利用0表示单字符,利用1表示首字符,利用2表示中间字符,利用3表示尾字符,后续借助tensorflow1.2.0中的tf.Variable方法为语料分配的数字0-3分配相应的随机初始化空间向量,tf.nn.embedding_lookup方法查找各数字对应的随机向量,表示每个字符的词级信息Segi;

3)实体向量与词级向量类似,区别在于表示实体的标识不同,利用B表示实体开始字符,利用I表示中间字符,利用E表示尾字符,利用O表示非实体字符,利用S表示单实体字符,后续按上述操作进行,将语料集中的单一文本包含的各字符转换为实体向量Entityi,基于上述三个级别的特性向量采取类似串行拼接操作,构建混合级向量表示,作为检测模型的训练及测试语料集,经混合输入层后,语料集中的某一长度为n的文本转换为[X0,X1,X2....Xn-1]的特征向量表示,拼接中具体的计算公式如下:

4.根据权利要求1所述基于新型卷积神经网络的矿山灾害事件检测方法,其特征在于HIDCNN网络的计算公式为:Yi=H(hi-1,WH)*T(hi-1,WT)+hi-1*C(hi-1,WC)(i≠1)

hi=Yi-1

其中,hi为第i层Highway层输出向量,h1=O,O为IDCNN的输出向量,H是一个非线性仿射变换函数relu,转换门T和携带门C均为双曲正切函数tanh,为了简化模型,通常将携带门C设置为1-T,WT和WC维度必须相同,如果不同必须进行补零操作,在矿山灾害事件检测场景下,经过多轮训练,发现2层Highway能够获得最佳的模型准确性及模型收敛效果。

检测方法首次组合使用IDCNN及Highway构建组合模型,将IDCNN的输出作为第一层Highway网络的输入,从而优化特征向量,高效检测文本中的灾害事件。使用tensorflow1.2.0中的tf.tanh、tf.sigmoid和tf.matmul方法搭建单层Highway网络,叠加多层可使用for循环,重复将上一层的输出作为当前层的输入。

5.根据权利要求1所述基于新型卷积神经网络的矿山灾害事件检测方法,其核心在于训练灾害事件检测模型,调整检测模型的最优超参数(如卷积核尺寸、个数、DCNN层数、迭代次数、Highway层数),设置如下:字符向量的维度为100,词级和实体向量维度均为20,可处理最长文本长度为400,超出截断,不足补0;卷积核的尺寸为3*3,个数为256,迭代块中包含3层DCNN,δ分别为1、2、4,迭代次数为4次,Highway层数为2;训练时,Batch_size为128,Dropout参数为0.5,学习率设置为0.001,优化器为Adam,测试时,Dropout参数为1.0;

模型性能的测试指标为调和平均数

训练过程中,依据每轮模型训练的F1值和损失值的变化情况,观察模型训练效果,如果模型准确率维持稳定,则模型停止训练,同时多次调整超参数值以寻找模型性能最优下的超参数。