1.一种基于主题可视化的探索机构研究状况的方法,其特征在于:该方法包括如下步骤:S1:研究数据的获取以及处理:
确定需要研究的机构,获取所需机构的SCI学术文献数据;
提取所需研究字段;
对提取的字段进行预处理;
S2:采用TF‑IDF特征提取和LDA主题模型分析技术对所选语料库进行处理;
对预处理所得的数据,使用TF‑IDF特征提取和生成,建立整个语料库的特征向量空间模型;
LDA算法利用语料库生成的特征向量空间模型建立主题模型,利用Gibbs采样方法对所建立的主题模型进行计算,输出并存储主题‑词矩阵;
对所输出的主题‑词矩阵进行聚类分析,存储并输出聚类结果;
S3:将聚类主题以及学术文献中其他维度信息以可视化的方式呈现出来,从多个维度对结果进行分析;
使用河流图、文字云和折线图分别展示主体强度随时间的变化、每个主题所代表的研究领域、以及主题被引频次的变化;
树状图、条形图分别展示每个主题下的层次结构,并分析每个分支机构就对该主题学术影响力的权重;
散点图、折线图分别展示每个分支机构下不同主题强度变化以及研究趋势,并发现学科优势;
在所述步骤S1中,确定需要研究的机构是根据包含该机构作者地址的近五年的SCI学术文献;
在所述步骤S1中,使用正则匹配,保留的数据包括文献的标题、作者、时间、被引频次、关键字以及摘要;语料库包括关键字、题目、文章摘要;
在所述步骤S1中,预处理包括清洗去噪,英文文本分词,去停用词和词根还原;
在所述步骤S2中,使用TF‑IDF算法进行特征提取和生成文本向量空间,具体包括以下操作:TF代表这一个词在一篇文档中出现的次数,IDF代表这一个词在文档集中的多少篇文档中出现,由TF和IDF相乘,得到一个具体的词对于一篇文档的重要程度;对每一篇文档的所有维度进行该文档的重要程度计算,生成每一篇文档的TF‑IDF特征向量:Feature‑Vector={f1,f2,f3……,fn} (1)公式(1)中,每一篇文档的TF‑IDF特征计算公式为:fi=tf(wi,di)*idf(wi,D) (2)公式(2)中,tf值计算公式为:
其中ni是该词在文档di中出现的次数,分母则是文档di中所有词汇出现的次数总和;
公式(2)中idf值计算公式为:
其中为|D|文档集中的所有文档总数,di为具体的某一篇文档,wi为某个词汇,即一个特征;
上述所有文档集的TF‑IDF特征向量组成(词,tfidf)矩阵,该矩阵即为文档特征向量空间模型;
在所述步骤S2中,使用LDA算法实现主题‑词矩阵的获取,基于一种词袋的模式,通过GibbsSampling算法,具体包括以下操作:LDA假设文档是由多个主题的混合产生的,每个文档的生成过程如下:从全局的泊松分布参数为β的分布中生成一个文档的长度N;
从全局的狄利克雷参数为α的分布中生成一个当前文档的θ;
对当前文档长度N的每一个字都有:从θ为参数的多项式分布生成一个主题的下标zn,从θ和z共同为参数的多项式分布中,产生一个字wn;
训练过程GibbsSampling:
随机给每一篇文档的每一个词w,随机分配主题编号z;
统计每个主题zi下出现字w的数量,以及每个文档n中出现主题zi中的词w的数量;
每次排除当前词w的主题分布zi,根据其他所有词的主题分类,来估计当前词w分配到各个主题z1,z2,…,zk的概率,即计算p(zi|z‑i,d,w);得到当前词属于所有主题z1,z2,…,zk的概率分布后,重新为词采样一个新的主题z1;用用同样的方法不断更新的下一个词的主题,直到每个文档下的主题分布θn和每个主题下的词分布φk收敛;
最后输出待估计参数、θn和φk,得到每个单词的主题zk,n;
GibbsSampling对LDA模型进行训练,得到一个主题‑词共现频率矩阵;
所述步骤S2中,通过对所得的LDA主题模型进行聚类分析得到学术文献聚类数据,学术文献聚类数据包括每个主题簇中所包含的学术文献,以及每个主题中所包含的关键词;
所述步骤S3中,其他维度的信息包含:时间、作者、被引频次和作者所属分支机构;
在所述步骤S3中,采用D3.js可视分析技术,从多个维度对结果进行分析,具体包括以下操作:使用河流图、文字云和折线图分别展示主体强度随时间的变化、每个主题所代表的研究领域、以及主题被引频次的变化来了解机构的整体研究概况;树状图、条形图分别展示每个主题下的层次结构,并分析每个分支机构就对该主题学术影响力的权重来了解主题与分支机构的关系;散点图、折线图分别展示每个分支机构下不同主题强度变化以及研究趋势,并发现学科优势。