欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021104663475
申请人: 西安理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于词频差值因子的特征选择方法,其特征在于,具体按照以下步骤实施:步骤1、选择文档数量不同、特征个数为几千甚至上万的文本类型数据集,去掉数据集中出现且文档数多于总数的25%或少于3篇的词语;针对未划分训练集和测试集的数据集则采用5折交叉验证法进行处理;

步骤2、将最优特征子集元素的个数设置为C,使用特征选择目标函数计算训练集数据每个特征词的得分,按照分数对特征词进行降序排列,选择前C个特征词组成最优特征子集;最终根据得到的最优特征子集分别完成对训练集和测试集数据的降维处理;

所述步骤2具体如下:

步骤2.1:计算训练集文档特征词的词频差值因子TDF,所述步骤2.1具体如下:

步骤2.1.1、根据公式(1)计算术语ti在文档dj中出现的频率,记为tfij,并根据公式(2)、(3)计算术语ti在类Ck中的平均词频其中,k表示类别序号,tcij表示术语ti在文档dj中出现的次数,Nj表示文档dj中的词语总数,Nk表示类Ck中的文档总数,I(dj,Ck)用来判断文档dj是否属于类Ck,当文档dj属于类Ck时I(dj,Ck)为1,反之为0;

步骤2.1.2、根据公式(4)计算术语ti在非Ck类中所有文档的平均词频其中,N为数据集的文档总数,Nk为类Ck中的文档总数;

步骤2.1.3、根据公式(5)计算出术语ti的词频差值因子TDF(ti,ck),步骤2.2、计算训练集数据特征词的正类文档频率影响因子以及三角比较度量因子TCM得分;

所述步骤2.2具体如下:

步骤2.2.1、根据公式(6)计算术语ti的正类文档频率影响因子poski,其中,tp表示在类ck中术语ti出现的文档数量,fn表示在类ck中术语ti没有出现的文档数量,fp表示非ck类中术语ti出现的文档数量,tn表示在非ck类中术语ti没有出现的文档数量;

步骤2.2.2、分别计算出术语ti在类ck中的真正率tpr和假正率fpr,真正率假正率 利用三角比较度量算法TCM,即公式(7)计算术语ti的TCM(ti,ck)得分,

2 2 m

TCM(ti,ck)=(2max(sinθ,cosθ)‑1) |tpr‑fpr|       (7)其中,θ表示术语ti对应的向量(tpr,fpr)与距离最近的坐标轴之间的夹角,m是控制离轴角度对整体得分影响的参数,当m取100时效果整体达到最好;

步骤2.3:计算术语ti的全局得分TFTCM(ti),得到带有权值的特征集合;

所述步骤2.3具体如下:

根据公式(8)计算术语ti的全局得分TFTCM(ti),得到带有权值的特征集合:其中,k表示类别编号,P(Ck)表示属于类Ck的文档数量在整个数据集中所占的比例;

步骤2.4、根据最终计算得到的全局得分对训练集的特征词进行降序排序,选择排名靠前的C个特征词,构成大小为C的最优特征子集;

步骤2.5、根据步骤2.4得到的最优特征子集分别对训练集数据和测试集数据进行处理,即删去文档中没有出现在最优特征子集中的特征词,保留最优特征子集包含的特征词,得到降维后的训练集和测试集数据;

步骤3、利用步骤2得到的训练集分别采用朴素贝叶斯分类器、支持向量机分类器进行训练,训练出分类模型,并对经过步骤2处理的测试集样本类别进行预测,得到分类结果;

步骤4、利用Macro‑F1以及Micro‑F1评估指标对分类器的分类效果进行评估,Macro‑F1和Micro‑F1分数越高,则证明分类的效果越好,进而证明特征选择算法性能越好。