1.一种面向可视化需求的基于知识图谱的Web数据优化方法,其特征在于,所述方法包括以下步骤:
第一步、目标领域语料库的构建:把网络语料内容作为构建知识图谱的基础,使用网络语料词条信息作为原始语料内容,为构建知识图谱而对原始网络语料内容进行筛选,比较分析网络词条的网页内容,原始语料内容中除了标题和正文信息外,还包含了HTML标签,词条本身的编辑信息,网页链接信息与词条本身无关的冗余信息,对网络词条的内容进行过滤清洗,抽取标题与有效的正文内容,过滤内容包括:对词条的网页内容执行HTML标签/文本样式符号过滤、词条模板符号及非英文字符过滤、词条编辑信息过滤、图片信息过滤、链接信息过滤、页面专有标题属性名过滤以及数值过滤;
第二步、面向语料库的实体抽取:知识图谱是由实体与关系构成图结构的数据信息网,以“实体‑关系‑实体”的三元组来表示知识图谱的基础结构,三元组中包括了两个有现实语义关系的实体和两个实体间的关系,用G=(head,relation,tail)的形式来表示,其中G表示三元组,head表示头实体,tail表示尾实体,relation表示头实体和尾实体间的关系;每个实体本身还包含了属性及属性值,将实体的属性也转化为与该实体相连的尾实体,并在两者间建立relation关系,实体抽取分为命名实体抽取、属性实体抽取及名词实体抽取三个阶段;
第三步:结合Word2vec,将语料库进行二次预分组,使用k‑means聚类算法构建知识图谱:三元组G的结构为(head,relation,tail),随着head和tail的不同,relation也有多种关系,relation是知识图谱中的关系集合,用以表示多种实体间的复杂联系,其目的在于判断两个属性间是否存在语义关联,即两个实体间是否存在关系,而不关注存在何种关系,通过计算语料库词汇的词向量,将语料库进行二次分组,使用k‑means聚类算法来抽取实体关系;
第四步、构建可视化模型树VT:对各种可视化图形进行分类,归纳总结各类图形的属性和结构特征,通过创建一种可视化模型树VT,来形式化地表达各类图形信息;
第五步、基于网络语料知识图谱的数据可视化优化匹配方法:定义M‑JSON为REST Web服务返回的JSON的原型结构;将Web数据原型结构M‑JSON与可视化模型树VT中的每个StructModel依据数据结构进行匹配,返回的结果是符合条件的候选坐标轴/图例的属性组合构成的集合;在结构匹配的基础上,利用第三步中构建的知识图谱,查询匹配出来的候选坐标轴/图例的属性组合否存在实际语义关联,根据查询结果优化匹配,选取有效的维度组合,以提升自动化生成图形的精确率。
2.如权利要求1所述的面向可视化需求的基于知识图谱的Web数据优化方法,其特征在于,所述第二步中,实体抽取分为命名实体抽取、属性实体抽取及名词实体抽取三个阶段;
2.1、实体抽取:实体抽取又称为命名实体识别,是从文本数据集中自动识别出命名实体,这指的是人名、地名、机构名词以及其它所有名称为标识的实体,该流程通过使用一些主流的命名实体识别系统来完成,其步骤包括:一、通过工具对语料库内容进行命名实体识别;二、将识别出的命名实体标注它的类型属性;三、根据类型属性对命名实体进行过滤,删除不合适的命名实体,保留其它命名实体的标注,同时将词条名称默认定义为命名实体;
2.2、属性实体抽取:以词条网络语料的信息框为属性的来源,从信息框中提取属性,然后在语料库中截取每个词条的信息框信息,按照信息框结构,提取属性名称,作为所属词条的名称所对应的命名实体的尾实体,不保留属性值,若某词条不存在信息框,则不必为该词条对应的命名实体创建尾实体;
2.3、名词实体抽取,包括四个步骤:单词拆分Split、词性标注POS Tagging、停用词过滤Stop Word Filtering和词干提取Stemming,命名实体抽取步骤中已经标注了识别出的命名实体,因此接下来的操作仅对标注的实体外的语料内容进行抽取。
3.如权利要求2所述的面向可视化需求的基于知识图谱的Web数据优化方法,其特征在于,所述2.3的过程如下:
2.3.1、单词拆分:使用正则表达式设计拆分规则模式,根据空格、符号、段落对语料库内容进行单词拆分,获取单词文本;
2.3.2、词性标注:为获取语料库中的名词,首先需要对文本词汇进行词性标注,词性标注也被称为语法标注或词类消疑,是语料库语言学中将语料库内单词的词性按其含义和上下文内容进行标记的文本数据处理技术,许多单词同时含有多个词性,拥有多种意义,而其词性的选择取决于上下文意义,将已进行命名实体标注的语料库作为标注对象文本进行词性标注,根据标注结果查找出名词对象,并在语料库中剔除非名词对象,但不包括非名词的词条名称,此时语料库中保留的是每个词条中的命名实体、名词对象及原有标点,并且所有内容仍然保持原有文本顺序;
2.3.3、停用词过滤:停用词这一名称来源于Stop Word,指代在信息检索中为了节省存储空间和提高搜索效率,在处理自然语言文本时自动过滤掉的字或词,对于一个给定的目的,任何一类词语都可以被选作停用词,停用词包括两类:一类是人类语言中包含的功能词Function Words,这类功能词使用非常普遍,出现频率极高,但又没有确切的实际含义;另一类为实词Content Words,这里指一部分有实际具体意义但又无明确指代或指向的词;在自然语言处理中,已有了停用词表Stop Word List,将停用词表作为参照字典,通过单词比对从语料库中删除停用词,进一步精简语料库内容,确保保留语料中无停用词;
2.3.4、词干提取:词干化提取是一种去除形态词缀得到对应词根的过程,是西方语言特有的处理过程;同一个英文单词有单数和复数的变形、时态的变形、人称代词对应不同谓语的变形,这些词虽然形式上有一些细微差别,但是都对应着相同的词根,在计算相关性的情况下应该作为相同的词来进行处理,这时就需要进行词干化处理;波特词干算法Porter Stemming Algorithm是一种主流的词干提取算法,其核心理念是根据形态词缀的类型,对单词进行分类处理还原,除了部分特殊的变形,大多数的单词变形是有一定规律的,依照规律将形变分为6种类别。
4.如权利要求3所述的面向可视化需求的基于知识图谱的Web数据优化方法,其特征在于,所述2.3.4中,词干的提取步骤如下:
2.3.4.1、依照单词变形类别,针对每一种情况进行词缀去除与单词复原,获得语料库中名词对象的词干信息,以减少同词不同形的情况,6种不同单词变形如下:
2.3.4.1.1、复数、以ed和ing结尾的单词;
2.3.4.1.2、单词中包含元音,并以y结尾的单词;
2.3.4.1.3、双后缀的单词;
2.3.4.1.4、以‑ic,‑ful,‑ness,‑ative为后缀的单词;
2.3.4.1.5、
2.3.4.1.6、
2.3.4.2、将还原为词干的名词对象创建为名词实体,并在语料库中更新名词对象,用词干形式来表示。
5.如权利要求1~4之一所述的面向可视化需求的基于知识图谱的Web数据优化方法,其特征在于,所述第三步中,知识图谱的构建流程如下:
3.1、使用Word2vec训练词向量:Word2vec是一种词向量工具,它将词表示成词的特征向量,使用Word2vec将词转换成数值形式,使用一个N维向量来表示;
3.2、将语料库进行两次预先分组:由于k‑means算法的分簇易受数据集本身分布情况影响,为保证核心概念,即目标领域的主要分类对象为聚类中心,不能直接使用k‑means聚类,要对语料库进行两次预先分组;
3.3、通过k‑means聚类算法对小语料集合自动查找聚类中心,进行分簇,同时构建三元组,步骤如下:
3.3.1、根据小语料集合的大小决定k的大小,集合越大k值越大;
3.3.2、经过k‑means聚类计算得到的质心所对应的实体将与上一层分组时的质心所对应的实体构建三元组;
其中,步骤3.3.2中k‑means算法是一种无监督聚类算法,使用语料库经过Word2vec所训练出来的词向量来代表每一个词,将每个小语料集合作为数据集,使用k‑means聚类算法进行聚类计算,k‑means聚类的步骤如下:
3.3.2.1、选取数据集中的k个对象作为初始中心,每个对象代表一个聚类中心;
3.3.2.2、词向量样本中的对象,根据它们与这些聚类中心的欧氏距离,将它们分到距离它们最近的聚类中心所对应的类;
3.3.2.3、更新聚类中心:将每个类别中所有对象所对应的均值作为该类别的聚类中心,计算目标函数的值;
3.3.2.4、判断聚类中心和目标函数的值是否发生改变,若不变,则输出结果,若改变,则返回3.3.2.2;
3.3.3、将新的分组作为数据集合,再次调用k‑means算法,重复步骤3.3.1~3.3.3,直至每个分组仅含有小于某个阈值Z的元素数量;
3.3.4、将每个分组中的数据点所对应的实体与当前质心所对应的实体构建三元组;
至此语料库中所有的实体都与其他实体建立了关系,它们对应构成的三元组相互组合,从而构成了知识图谱,由于自动聚类所查找出的簇心与分簇情况,有可能会产生相关性较弱的实体关系,因此知识图谱构建完成后需要人工校对筛查,去除相关性低的实体关联,以提高知识图谱的质量。
6.如权利要求5所述的面向可视化需求的基于知识图谱的Web数据优化方法,其特征在于,所述3.2的步骤如下:
3.2.1、对语料库一次分组,步骤如下:
3.2.1.1、将先前获取的目标领域标签的第一层子分类标签提取出来,目标领域标签形成核心实体,并生成第一层子分类标签集合Tag,其中共包含了n个子分类标签,每个标签都有一个对应的实体和词向量,并且这些实体都与核心实体相连,构成n个三元组;
3.2.1.2、将第一层子分类标签对象作为质心,计算语料库数据集中各个数据点到各个质心的欧式距离,然后根据就近原则,将数据点分配至每个质心所对应的类中,获得了以第一层子分类标签为质心的n个簇,即n个分组数据集,同时语料库也被分为了n个语料集合;
其中,步骤3.2.1.2中欧式距离(Euclidean Distance)是判断数据点所属类别的重要依据,假设有给定的样本 与 其中i',j=1,
2,…,m,m表示样本数,n'表示特征数,欧式距离的计算方式为:
3.2.2、结合TF‑IDF算法,对语料库二次分组,其步骤如下:
3.2.2.1、通过计算TF‑IDF查找出每个语料集合中的关键词;
其中,步骤3.2.2中TF‑IDF算法是一种用于评估一个词对指定文档的重要性的数值统计方法,词频TF(Term Frequency)指给定词在给定文档中出现的频率,其计算公式为:nx,y指文档y中术语x出现的次数,∑knk,y指文档y中总的词汇数,逆向文档频率IDF(Inverse Document Frequency)是用于评估单词或术语提供的信息量,即该术语在整个文档中是否常见,其计算公式为:N指文档的总数,nx指出现术语x的文档数量,文本中每一个词条作为一个文档,最后共同计算TF与IDF的值,获得TF‑IDF的公式为:(TF‑IDF)x,y=TFx,y×IDFx
3.2.2.2、对每个语料集合的关键词进行人工筛选,去除与当前语料集合的核心实体相关性低的关键词,保留相关性最高的部分关键词,保留关键词数量与提取出的所有关键词的整体质量相关;
3.2.2.3、将每个语料集合中提取出的并通过筛选的关键词所对应的实体与当前语料集合的核心实体构建三元组,以这些关键词为每个语料集合中的质心,再进行一次集合中的数据点到各个质心的欧氏距离计算,并对数据点进行分类,原语料库此时已经被划分为多个小语料集合。
7.如权利要求1~4之一所述的面向可视化需求的基于知识图谱的Web数据优化方法,其特征在于,所述第四步的步骤如下:
4.1、定义VT包括基础属性BASICATTRIBUTE和可视结构DVSCHEMA两个部分,形式化定义如(1),其中BASICATTRIBUTE保存了图形标题、副标题及其他文本样式的通用信息;
(1)、VT::=
4.2、BASICATTRIBUTE包括三个属性:标题title、子标题subtitle、属性attributes,形式化定义如(2),title用于保存最终生成的可视化图形的标题,subtitle用于保存最终生成的可视化图形的子标题,attributes用于保存最终生成的可视化图形的位置、颜色组合、字体、字号设置参数;
(2)、BASICATTRIBUTE::=
4.3、BASICATTRIBUTE根据图形所需的数据类型、图形数据结构、图形维度将常见的可视化图形归纳为四种基础类别:一般图形General、拓扑图Topology、地图Map、文本图形Text,形式化定义如(3);
(3)、DVSCHEMA::=
4.4、步骤4.3中的四种基础类别下属均分别包含两个属性:图形类型VType和图形结构StructModel,VType保存了该类别所属图形种类,StructModel保存了该类别所属图形的基本可视化结构,形式化定义如(4),“A::B”表示“A包含了属性B”;
(4)、DVSCHEMA::=
8.如权利要求7所述的面向可视化需求的基于知识图谱的Web数据优化方法,其特征在于,所述4.4中,四种基础类别的VType属性的所属图形如下:
4.4.1、General包括柱状图BarChart、折线图LineChart、饼图PieChart、雷达图RadarChart、散点图ScatterChart;
4.4.2、Topology包括网络图NetworkChart、树图TreeMap、面积树图TreeMapChart;
4.4.3、Map包括地区地图AreaMapChart、国家地图CountryMapChart、世界地图WorldMapChart;
4.4.4、Text包括词云WorldCloudChart;
4.5、步骤4.4中四种基础类别均有各自的映射关系Mapping,描述了各类图形的数据结构、数据维度、图形结构关系、数据映射位置信息;根据Mapping信息并结合图形的数据结构,可以抽象出各类图形的基本可视化结构StructModel。
9.如权利要求7所述的面向可视化需求的基于知识图谱的Web数据优化方法,其特征在于,所述4.5中,各类图形的映射关系Mapping及基本可视化结构StructModel定义如下:
4.5.1、General类型中的图形用于表示二维数据或三维数据,可用二元组(XAxis,YAxis)或三元组(XAxis,YAxis,ZAxis)来表示信息,此类图形的Mapping结构如(5),其中LegendName表示图例名称,以ARRAY类型来存储各分组信息;根据Mapping结构可抽象出基础StructModel的结构如(6),StructModel的子节点为临时根节点Root,Root包含两个子节点:键值对K_V与图例节点LegendNode;
(5)、Mapping::=
(6)、StructModel::=
4.5.2、Topology类型中的图形用于表示拓扑关系数据,树图与面积树图可用嵌套的键值对{key:value,children:{key:value}}来表示属性结构,Mapping结构如(7);网络图可用节点集合Nodes和边集合Links来表示图结构,Mapping结构如(8),其中source表示一条边link的起始节点,target表示该条边link的指向节点;根据Mapping结构可抽象出基础StructModel的结构如(9),StructModel有两个子结构,Root1和Root2分别为两个子结构的临时根节点,Root1包含两个子节点:键值对K_V和孩子节点children,children的子结构为键值对K_V;Root2包含两个子节点:节点集合Nodes和边集合Links,节点集合的子节点为关键字key和值value,其中value可以为空,边集合的子节点为起点source和目标target;
(7)、Mapping::=
(8)、Mapping::=
4.5.3、Map类型中的图形用于表示地图信息,用键值对数组[{PlaceName:value}]或三元组数组[{lng,lat,value}]来表示地图信息,此类图形的Mapping结构如(10),其中PlaceName表示地名,lng表示纬度,lat表示经度;根据Mapping结构可抽象出基础StructModel的结构如(11),StructModel有两个子结构,Root1和Root2分别为两个子结构的临时根节点,Root1包含子子节点键值对K_V;Root2包含了三个子节点:经度lat,纬度lng,数值value;
(10)、Mapping::=
(11)、StructModel::=
4.5.4、Text类型中的图形用二元组(Keyword,frequency)来表示关键字频率,此类图形的Mapping结构如(12),其中Keyword为文本中提取出的词汇,frequency表示该词汇在文本中的出现频率;根据Mapping结构可抽象出基础StructModel的结构如(13),StructModel的子节点为临时根节点Root,Root包含了键值对K_V;
(12)、Mapping::=
(13)、StructModel::=
10.如权利要求9所述的面向可视化需求的基于知识图谱的Web数据优化方法,其特征在于,所述第五步的步骤如下:
5.1、将Web数据原型结构M‑JSON与可视化模型树VT的StructModel依据数据结构进行匹配,M‑JSON中匹配出m个符合条件的候选坐标轴/图例的属性组合结果,其中每个组合结果表示为一个含键值对L和一个属性名A组成的二元组,其中L和A分别与步骤4.5.1中的LegendNode和K_V对应;
5.2、结合构建的网络语料知识图谱对m个符合条件的属性组合进行匹配优化过程如下:
5.2.1、步骤5.1中每个匹配结果以二元组的形式来表示:P=(L::name,A::name),将每个匹配结果Pi=(Li::name,Ai::name),转化为三元组形式Gi=(Li::name,R,Ai::name)放入集合S={G1,G2,…,Gm};
5.2.2、依次将集合S里Gi的三个参数与知识图谱的三元组结构进行如下映射F(Li::
name→head,R→relation,Ai::name→tail)映射成三元组(head,relation,tail),在构建语料知识图谱中匹配是否存在当前三元组(head,relation,tail),result为匹配结果为True或False,分别表示为1和0,首先在语料知识图谱中匹配头实体节点head和尾实体节点tail,然后匹配头实体节点和尾实体节点之间的关系relation,当且仅当头实体head,尾实体tail及关系relation都匹配成功,result为1;
5.2.3、集合S中的对象查询完成后,返回集合Q={(Gi,resulti)},并将Q用于判断当前符合条件的二元组是否存在语义关联,作为候选坐标轴/图例的属性组合匹配结果的判定,因此,只有结构匹配并且resulti为1时,才判定匹配成功,由此提高数据属性匹配的准确率,减少无实际意义图像的生成率。