欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 201810685215X
申请人: 淮阴工学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于TF‑IDF和CNN启发式短文本特征提取与分类方法,其特征在于,包括如下步骤:(1)对短文本集用结巴分词工具实现中文的文本分词,然后去除文本噪声词,得到文本数据集UNION,包括:(1.1)定义短文本集L={l1,l2,…,la},其中,l是小于等于50个中文字符的文本,将L进行类别标记,定义CATE={CATE1,CATE2,…,CATEb}表示标记后的类别文本集;

(1.2)调用结巴分词工具,对CATE进行中文分词,得到词集SEG={segi1,segi2,segi3,…,segic},其中,segi∈CATEi,i∈[1,b];

(1.3)定义文本常用停用词集SWORD={sword1,sword2,…,swordd};

(1.4)定义变量UNION存储去除停用词库后信息,并初始化为字符s;

(1.5)如果segi∈SWORD,UNION=UNION+segi,否则,segi=segi+1;

(1.6)将UNION写入到目标文件中;

(2)使用TF‑IDF特征选择方法处理文本数据集UNION,得出选择后的文本特征值VALUE1,将VALUE1导入到卷积神经网络模型,集成标签并且生成批处理迭代器M,包括:(2.1)定义列名name,weight分别表示待存入数据的名称和权重;

(2.2)去除停用词后的词库集合UNION={union1,union2,…,unionn};

(2.3)将词库集合UNION转化为词频矩阵,然后计算词频矩阵中每个词语的TF‑IDF值TI={ti1,ti2,…,tin};

(2.4)定义集合VECTOR={vector1,vector2,…,vectorn}分别表示UNION中对应元素的向量值,将VECTOR中元素提取出特征值名称,存储到集合WORD={word1,word2,…,wordn}中,其中,wordj的值对应于vectorj,j∈[1,n];

(2.5)定义WEIGHT={weight1,weight2,…,weightn}表示TI数组化后的结果,其中,weightk的值对应于tik的值,k∈[1,n];

(2.6)求得集合WEIGHT的元素个数为L1,集合WORD的元素个数为L2,循环遍历L1,L2;

(2.7)定义集合VALUE={name1,weight1;name2,weight2;…;namen,weightn},将遍历得到的WORDt,WEIGHTt赋值给namet,weightt,其中,t∈[1,n];

(2.8)定义LABEL={label1,label2,…,labelb}分别表示类别标签,CATE=CATE1+CATE2+…+CATEb;

(2.9)如果Shuffle为真,随机打乱原来的数据,并将洗牌后的数据加入到CATE中;

(2.10)计算每一轮迭代处理批次的大小,定义开始索引start_index和结束索引end_index,生成从开始索引到结束索引的批处理集成器M;

(3)使用嵌入层、卷积层、池化层和softmax方法搭建CNN神经网络文本分类模型,导入M到模型中;

(4)配置训练集模型的超参数和训练参数,给出训练集每1步和测试集每100步的损失函数和准确度,生成训练模型MODEL;

(5)最后将待分类短文本集进行预处理之后,得到数据集VALUE2,导入MODEL到预测模型,得出分类结果。

2.根据权利要求1所述的一种基于TF‑IDF和CNN启发式短文本特征提取与分类方法,其特征在于,所述步骤(3)中使用嵌入层、卷积层、池化层和softmax方法搭建CNN神经网络文本分类模型,导入M到模型中的具体步骤如下:(3.1)将词汇索引映射到低维向量表示,TensorFlow的操作放在CPU上执行,定义学习的嵌入矩阵为W,用随机均匀分布初始化W;

(3.2)使用relu函数作为激活函数,将卷积层的结果最大化为长特征向量,然后将所有长特征向量合并成一个特征向量;

(3.3)添加丢失正则化,在训练期间设置启用的神经元比例为0.5,在测试期间设置为1禁用丢失;

(3.4)通过矩阵乘法生成对数据类别的预测,然后选择得分最高的类别,使用softmax对结果进行分类;

(3.5)定义准确度和损失函数作为训练和测试期间模型的评价标准。

3.根据权利要求2所述的一种基于TF‑IDF和CNN启发式短文本特征提取与分类方法,其特征在于,所述步骤(4)中生成训练模型MODEL的具体步骤如下:(4.1)配置模型超参数,嵌入层大小设置为256,过滤器分别取3、4、5三个不同的值,每个过滤器过滤的大小为128,丢失保持率设置为0.5;

(4.2)配置训练参数,隐藏神经元的数量设置为200,定义批处理大小batch_size,初始化为64;

(4.3)加载训练集和测试集,数据集的划分采用7:3,并且对划分的数据集采用交叉验证的方法;

(4.4)定义训练的过程,实例化CNN,使用Adam优化器来优化网络的损失函数;

(4.5)使用summarywritter记录在训练和测试的过程中跟踪损失值和准确度随时间的变化;

(4.6)建立检查点文件checkpoint保存模型的参数;

(4.7)定义单个训练步骤和测试步骤,在每一步的训练步骤中,输出训练集的损失值和准确率;

(4.8)如果batch_size<64为真,定义测试集当前步数current_step,否则,转到步骤(4.12);

(4.9)如果current_step是100的整倍数,输出测试集的损失值和准确率,保存训练的模型,否则转到步骤(4.10);

(4.10)current_step=current_step+1,转到步骤(4.9);

(4.11)batch_size=batch_size+1,转到步骤(4.8);

(4.12)模型训练结束。

4.根据权利要求3所述的一种基于TF‑IDF和CNN启发式短文本特征提取与分类方法,其特征在于,所述步骤(5)中最后将待分类短文本集进行预处理之后,得到数据集VALUE2,导入MODEL到预测模型,得出分类结果的具体步骤如下:(5.1)将短文本进行中文分词,然后结合常用停用词库去除停用词,再用TF‑IDF特征选择方法进行特征选择,得到验证集VALUE2;

(5.2)将验证集加载到VALUE2神经网络中,加载训练好的模型MODEL;

(5.3)获得短文本的分类。