欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019112548147
申请人: 深圳市数康云信息技术有限公司
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种面向可视化需求的基于知识图谱的Web数据优化方法,其特征在于,所述方法包括以下步骤:

第一步、目标领域语料库的构建:把网络语料内容作为构建知识图谱的基础,使用网络语料词条信息作为原始语料内容,为构建知识图谱而对原始网络语料内容进行筛选,比较分析网络词条的网页内容,原始语料内容中除了标题和正文信息外,还包含了HTML标签,词条本身的编辑信息,网页链接信息与词条本身无关的冗余信息,对网络词条的内容进行过滤清洗,抽取标题与有效的正文内容,过滤内容包括:对词条的网页内容执行HTML标签/文本样式符号过滤、词条模板符号及非英文字符过滤、词条编辑信息过滤、图片信息过滤、链接信息过滤、页面专有标题属性名过滤以及数值过滤;

第二步、面向语料库的实体抽取:知识图谱是由实体与关系构成图结构的数据信息网,以“实体‑关系‑实体”的三元组来表示知识图谱的基础结构,三元组中包括了两个有现实语义关系的实体和两个实体间的关系,用G=(head,relation,tail)的形式来表示,其中G表示三元组,head表示头实体,tail表示尾实体,relation表示头实体和尾实体间的关系;每个实体本身还包含了属性及属性值,将实体的属性也转化为与该实体相连的尾实体,并在两者间建立relation关系,实体抽取分为命名实体抽取、属性实体抽取及名词实体抽取三个阶段;

第三步:结合Word2vec,将语料库进行二次预分组,使用k‑means聚类算法构建知识图谱:三元组G的结构为(head,relation,tail),随着head和tail的不同,relation也有多种关系,relation是知识图谱中的关系集合,用以表示多种实体间的复杂联系,其目的在于判断两个属性间是否存在语义关联,即两个实体间是否存在关系,而不关注存在何种关系,通过计算语料库词汇的词向量,将语料库进行二次分组,使用k‑means聚类算法来抽取实体关系;

第四步、构建可视化模型树VT:对各种可视化图形进行分类,归纳总结各类图形的属性和结构特征,通过创建一种可视化模型树VT,来形式化地表达各类图形信息;

第五步、基于网络语料知识图谱的数据可视化优化匹配方法:定义M‑JSON为REST Web服务返回的JSON的原型结构;将Web数据原型结构M‑JSON与可视化模型树VT中的每个StructModel依据数据结构进行匹配,返回的结果是符合条件的候选坐标轴/图例的属性组合构成的集合;在结构匹配的基础上,利用第三步中构建的知识图谱,查询匹配出来的候选坐标轴/图例的属性组合否存在实际语义关联,根据查询结果优化匹配,选取有效的维度组合,以提升自动化生成图形的精确率。

2.如权利要求1所述的面向可视化需求的基于知识图谱的Web数据优化方法,其特征在于,所述第二步中,实体抽取分为命名实体抽取、属性实体抽取及名词实体抽取三个阶段;

2.1、实体抽取:实体抽取又称为命名实体识别,是从文本数据集中自动识别出命名实体,这指的是人名、地名、机构名词以及其它所有名称为标识的实体,该流程通过使用一些主流的命名实体识别系统来完成,其步骤包括:一、通过工具对语料库内容进行命名实体识别;二、将识别出的命名实体标注它的类型属性;三、根据类型属性对命名实体进行过滤,删除不合适的命名实体,保留其它命名实体的标注,同时将词条名称默认定义为命名实体;

2.2、属性实体抽取:以词条网络语料的信息框为属性的来源,从信息框中提取属性,然后在语料库中截取每个词条的信息框信息,按照信息框结构,提取属性名称,作为所属词条的名称所对应的命名实体的尾实体,不保留属性值,若某词条不存在信息框,则不必为该词条对应的命名实体创建尾实体;

2.3、名词实体抽取,包括四个步骤:单词拆分Split、词性标注POS Tagging、停用词过滤Stop Word Filtering和词干提取Stemming,命名实体抽取步骤中已经标注了识别出的命名实体,因此接下来的操作仅对标注的实体外的语料内容进行抽取。

3.如权利要求2所述的面向可视化需求的基于知识图谱的Web数据优化方法,其特征在于,所述2.3的过程如下:

2.3.1、单词拆分:使用正则表达式设计拆分规则模式,根据空格、符号、段落对语料库内容进行单词拆分,获取单词文本;

2.3.2、词性标注:为获取语料库中的名词,首先需要对文本词汇进行词性标注,词性标注也被称为语法标注或词类消疑,是语料库语言学中将语料库内单词的词性按其含义和上下文内容进行标记的文本数据处理技术,许多单词同时含有多个词性,拥有多种意义,而其词性的选择取决于上下文意义,将已进行命名实体标注的语料库作为标注对象文本进行词性标注,根据标注结果查找出名词对象,并在语料库中剔除非名词对象,但不包括非名词的词条名称,此时语料库中保留的是每个词条中的命名实体、名词对象及原有标点,并且所有内容仍然保持原有文本顺序;

2.3.3、停用词过滤:停用词这一名称来源于Stop Word,指代在信息检索中为了节省存储空间和提高搜索效率,在处理自然语言文本时自动过滤掉的字或词,对于一个给定的目的,任何一类词语都可以被选作停用词,停用词包括两类:一类是人类语言中包含的功能词Function Words,这类功能词使用非常普遍,出现频率极高,但又没有确切的实际含义;另一类为实词Content Words,这里指一部分有实际具体意义但又无明确指代或指向的词;在自然语言处理中,已有了停用词表Stop Word List,将停用词表作为参照字典,通过单词比对从语料库中删除停用词,进一步精简语料库内容,确保保留语料中无停用词;

2.3.4、词干提取:词干化提取是一种去除形态词缀得到对应词根的过程,是西方语言特有的处理过程;同一个英文单词有单数和复数的变形、时态的变形、人称代词对应不同谓语的变形,这些词虽然形式上有一些细微差别,但是都对应着相同的词根,在计算相关性的情况下应该作为相同的词来进行处理,这时就需要进行词干化处理;波特词干算法Porter Stemming Algorithm是一种主流的词干提取算法,其核心理念是根据形态词缀的类型,对单词进行分类处理还原,除了部分特殊的变形,大多数的单词变形是有一定规律的,依照规律将形变分为6种类别。

4.如权利要求3所述的面向可视化需求的基于知识图谱的Web数据优化方法,其特征在于,所述2.3.4中,词干的提取步骤如下:

2.3.4.1、依照单词变形类别,针对每一种情况进行词缀去除与单词复原,获得语料库中名词对象的词干信息,以减少同词不同形的情况,6种不同单词变形如下:

2.3.4.1.1、复数、以ed和ing结尾的单词;

2.3.4.1.2、单词中包含元音,并以y结尾的单词;

2.3.4.1.3、双后缀的单词;

2.3.4.1.4、以‑ic,‑ful,‑ness,‑ative为后缀的单词;

2.3.4.1.5、vcvc情形下,‑ant,‑ence后缀的单词,c为辅音,v为元音;

2.3.4.1.6、vc元音辅音间有超过1对vc的情形下,以e结尾的单词;

2.3.4.2、将还原为词干的名词对象创建为名词实体,并在语料库中更新名词对象,用词干形式来表示。

5.如权利要求1~4之一所述的面向可视化需求的基于知识图谱的Web数据优化方法,其特征在于,所述第三步中,知识图谱的构建流程如下:

3.1、使用Word2vec训练词向量:Word2vec是一种词向量工具,它将词表示成词的特征向量,使用Word2vec将词转换成数值形式,使用一个N维向量来表示;

3.2、将语料库进行两次预先分组:由于k‑means算法的分簇易受数据集本身分布情况影响,为保证核心概念,即目标领域的主要分类对象为聚类中心,不能直接使用k‑means聚类,要对语料库进行两次预先分组;

3.3、通过k‑means聚类算法对小语料集合自动查找聚类中心,进行分簇,同时构建三元组,步骤如下:

3.3.1、根据小语料集合的大小决定k的大小,集合越大k值越大;

3.3.2、经过k‑means聚类计算得到的质心所对应的实体将与上一层分组时的质心所对应的实体构建三元组;

其中,步骤3.3.2中k‑means算法是一种无监督聚类算法,使用语料库经过Word2vec所训练出来的词向量来代表每一个词,将每个小语料集合作为数据集,使用k‑means聚类算法进行聚类计算,k‑means聚类的步骤如下:

3.3.2.1、选取数据集中的k个对象作为初始中心,每个对象代表一个聚类中心;

3.3.2.2、词向量样本中的对象,根据它们与这些聚类中心的欧氏距离,将它们分到距离它们最近的聚类中心所对应的类;

3.3.2.3、更新聚类中心:将每个类别中所有对象所对应的均值作为该类别的聚类中心,计算目标函数的值;

3.3.2.4、判断聚类中心和目标函数的值是否发生改变,若不变,则输出结果,若改变,则返回3.3.2.2;

3.3.3、将新的分组作为数据集合,再次调用k‑means算法,重复步骤3.3.1~3.3.3,直至每个分组仅含有小于某个阈值Z的元素数量;

3.3.4、将每个分组中的数据点所对应的实体与当前质心所对应的实体构建三元组;

至此语料库中所有的实体都与其他实体建立了关系,它们对应构成的三元组相互组合,从而构成了知识图谱,由于自动聚类所查找出的簇心与分簇情况,有可能会产生相关性较弱的实体关系,因此知识图谱构建完成后需要人工校对筛查,去除相关性低的实体关联,以提高知识图谱的质量。

6.如权利要求5所述的面向可视化需求的基于知识图谱的Web数据优化方法,其特征在于,所述3.2的步骤如下:

3.2.1、对语料库一次分组,步骤如下:

3.2.1.1、将先前获取的目标领域标签的第一层子分类标签提取出来,目标领域标签形成核心实体,并生成第一层子分类标签集合Tag,其中共包含了n个子分类标签,每个标签都有一个对应的实体和词向量,并且这些实体都与核心实体相连,构成n个三元组;

3.2.1.2、将第一层子分类标签对象作为质心,计算语料库数据集中各个数据点到各个质心的欧式距离,然后根据就近原则,将数据点分配至每个质心所对应的类中,获得了以第一层子分类标签为质心的n个簇,即n个分组数据集,同时语料库也被分为了n个语料集合;

其中,步骤3.2.1.2中欧式距离(Euclidean Distance)是判断数据点所属类别的重要依据,假设有给定的样本 与 其中i',j=1,

2,…,m,m表示样本数,n'表示特征数,欧式距离的计算方式为:

3.2.2、结合TF‑IDF算法,对语料库二次分组,其步骤如下:

3.2.2.1、通过计算TF‑IDF查找出每个语料集合中的关键词;

其中,步骤3.2.2中TF‑IDF算法是一种用于评估一个词对指定文档的重要性的数值统计方法,词频TF(Term Frequency)指给定词在给定文档中出现的频率,其计算公式为:nx,y指文档y中术语x出现的次数,∑knk,y指文档y中总的词汇数,逆向文档频率IDF(Inverse Document Frequency)是用于评估单词或术语提供的信息量,即该术语在整个文档中是否常见,其计算公式为:N指文档的总数,nx指出现术语x的文档数量,文本中每一个词条作为一个文档,最后共同计算TF与IDF的值,获得TF‑IDF的公式为:(TF‑IDF)x,y=TFx,y×IDFx

3.2.2.2、对每个语料集合的关键词进行人工筛选,去除与当前语料集合的核心实体相关性低的关键词,保留相关性最高的部分关键词,保留关键词数量与提取出的所有关键词的整体质量相关;

3.2.2.3、将每个语料集合中提取出的并通过筛选的关键词所对应的实体与当前语料集合的核心实体构建三元组,以这些关键词为每个语料集合中的质心,再进行一次集合中的数据点到各个质心的欧氏距离计算,并对数据点进行分类,原语料库此时已经被划分为多个小语料集合。

7.如权利要求1~4之一所述的面向可视化需求的基于知识图谱的Web数据优化方法,其特征在于,所述第四步的步骤如下:

4.1、定义VT包括基础属性BASICATTRIBUTE和可视结构DVSCHEMA两个部分,形式化定义如(1),其中BASICATTRIBUTE保存了图形标题、副标题及其他文本样式的通用信息;

(1)、VT::=

4.2、BASICATTRIBUTE包括三个属性:标题title、子标题subtitle、属性attributes,形式化定义如(2),title用于保存最终生成的可视化图形的标题,subtitle用于保存最终生成的可视化图形的子标题,attributes用于保存最终生成的可视化图形的位置、颜色组合、字体、字号设置参数;

(2)、BASICATTRIBUTE::=<subtitle><attributes></p></div><div num="55"><p class="claim-text">4.3、BASICATTRIBUTE根据图形所需的数据类型、图形数据结构、图形维度将常见的可视化图形归纳为四种基础类别:一般图形General、拓扑图Topology、地图Map、文本图形Text,形式化定义如(3);</p></div><div num="56"><p class="claim-text">(3)、DVSCHEMA::=<General><Topology><Map><Text></p></div><div num="57"><p class="claim-text">4.4、步骤4.3中的四种基础类别下属均分别包含两个属性:图形类型VType和图形结构StructModel,VType保存了该类别所属图形种类,StructModel保存了该类别所属图形的基本可视化结构,形式化定义如(4),“A::B”表示“A包含了属性B”;</p></div><div num="58"><p class="claim-text">(4)、DVSCHEMA::=<General><Topology><Map><Text>::<VType><StructModel>。</p></div><div num="59"><p class="claim-text">8.如权利要求7所述的面向可视化需求的基于知识图谱的Web数据优化方法,其特征在于,所述4.4中,四种基础类别的VType属性的所属图形如下:</p></div><div num="60"><p class="claim-text">4.4.1、General包括柱状图BarChart、折线图LineChart、饼图PieChart、雷达图RadarChart、散点图ScatterChart;</p></div><div num="61"><p class="claim-text">4.4.2、Topology包括网络图NetworkChart、树图TreeMap、面积树图TreeMapChart;</p></div><div num="62"><p class="claim-text">4.4.3、Map包括地区地图AreaMapChart、国家地图CountryMapChart、世界地图WorldMapChart;</p></div><div num="63"><p class="claim-text">4.4.4、Text包括词云WorldCloudChart;</p></div><div num="64"><p class="claim-text">4.5、步骤4.4中四种基础类别均有各自的映射关系Mapping,描述了各类图形的数据结构、数据维度、图形结构关系、数据映射位置信息;根据Mapping信息并结合图形的数据结构,可以抽象出各类图形的基本可视化结构StructModel。</p></div><div num="65"><p class="claim-text">9.如权利要求7所述的面向可视化需求的基于知识图谱的Web数据优化方法,其特征在于,所述4.5中,各类图形的映射关系Mapping及基本可视化结构StructModel定义如下:</p></div><div num="66"><p class="claim-text">4.5.1、General类型中的图形用于表示二维数据或三维数据,可用二元组(XAxis,YAxis)或三元组(XAxis,YAxis,ZAxis)来表示信息,此类图形的Mapping结构如(5),其中LegendName表示图例名称,以ARRAY类型来存储各分组信息;根据Mapping结构可抽象出基础StructModel的结构如(6),StructModel的子节点为临时根节点Root,Root包含两个子节点:键值对K_V与图例节点LegendNode;</p></div><div num="67"><p class="claim-text">(5)、Mapping::=<XAxis,YAxis,[ZAxis]><LegendName></p></div><div num="68"><p class="claim-text">(6)、StructModel::=<Root::<K_V><LegendNode>></p></div><div num="69"><p class="claim-text">4.5.2、Topology类型中的图形用于表示拓扑关系数据,树图与面积树图可用嵌套的键值对{key:value,children:{key:value}}来表示属性结构,Mapping结构如(7);网络图可用节点集合Nodes和边集合Links来表示图结构,Mapping结构如(8),其中source表示一条边link的起始节点,target表示该条边link的指向节点;根据Mapping结构可抽象出基础StructModel的结构如(9),StructModel有两个子结构,Root1和Root2分别为两个子结构的临时根节点,Root1包含两个子节点:键值对K_V和孩子节点children,children的子结构为键值对K_V;Root2包含两个子节点:节点集合Nodes和边集合Links,节点集合的子节点为关键字key和值value,其中value可以为空,边集合的子节点为起点source和目标target;</p></div><div num="70"><p class="claim-text">(7)、Mapping::=<K_V><children::<K_V>></p></div><div num="71"><p class="claim-text">(8)、Mapping::=<Nodes::<key,[value]><Links::<source><target>>(9)、StructModel::=<Root1::<K_V><children::<K_V>>><Root2::<Nodes::<key,[value]>,<Links::<source><target>>></p></div><div num="72"><p class="claim-text">4.5.3、Map类型中的图形用于表示地图信息,用键值对数组[{PlaceName:value}]或三元组数组[{lng,lat,value}]来表示地图信息,此类图形的Mapping结构如(10),其中PlaceName表示地名,lng表示纬度,lat表示经度;根据Mapping结构可抽象出基础StructModel的结构如(11),StructModel有两个子结构,Root1和Root2分别为两个子结构的临时根节点,Root1包含子子节点键值对K_V;Root2包含了三个子节点:经度lat,纬度lng,数值value;</p></div><div num="73"><p class="claim-text">(10)、Mapping::=<Data1::<PlaceName><value>><Data2::<lng><lat><value>></p></div><div num="74"><p class="claim-text">(11)、StructModel::=<Root1::<K_V>>,<Root2::<lng>,<lat>,<value>></p></div><div num="75"><p class="claim-text">4.5.4、Text类型中的图形用二元组(Keyword,frequency)来表示关键字频率,此类图形的Mapping结构如(12),其中Keyword为文本中提取出的词汇,frequency表示该词汇在文本中的出现频率;根据Mapping结构可抽象出基础StructModel的结构如(13),StructModel的子节点为临时根节点Root,Root包含了键值对K_V;</p></div><div num="76"><p class="claim-text">(12)、Mapping::=<Keyword><frequency></p></div><div num="77"><p class="claim-text">(13)、StructModel::=<Root::<K_V>>。</p></div><div num="78"><p class="claim-text">10.如权利要求9所述的面向可视化需求的基于知识图谱的Web数据优化方法,其特征在于,所述第五步的步骤如下:</p></div><div num="79"><p class="claim-text">5.1、将Web数据原型结构M‑JSON与可视化模型树VT的StructModel依据数据结构进行匹配,M‑JSON中匹配出m个符合条件的候选坐标轴/图例的属性组合结果,其中每个组合结果表示为一个含键值对L和一个属性名A组成的二元组,其中L和A分别与步骤4.5.1中的LegendNode和K_V对应;</p></div><div num="80"><p class="claim-text">5.2、结合构建的网络语料知识图谱对m个符合条件的属性组合进行匹配优化过程如下:</p></div><div num="81"><p class="claim-text">5.2.1、步骤5.1中每个匹配结果以二元组的形式来表示:P=(L::name,A::name),将每个匹配结果Pi=(Li::name,Ai::name),转化为三元组形式Gi=(Li::name,R,Ai::name)放入集合S={G1,G2,…,Gm};</p></div><div num="82"><p class="claim-text">5.2.2、依次将集合S里Gi的三个参数与知识图谱的三元组结构进行如下映射F(Li::</p></div><div num="83"><p class="claim-text">name→head,R→relation,Ai::name→tail)映射成三元组(head,relation,tail),在构建语料知识图谱中匹配是否存在当前三元组(head,relation,tail),result为匹配结果为True或False,分别表示为1和0,首先在语料知识图谱中匹配头实体节点head和尾实体节点tail,然后匹配头实体节点和尾实体节点之间的关系relation,当且仅当头实体head,尾实体tail及关系relation都匹配成功,result为1;</p></div><div num="84"><p class="claim-text">5.2.3、集合S中的对象查询完成后,返回集合Q={(Gi,resulti)},并将Q用于判断当前符合条件的二元组是否存在语义关联,作为候选坐标轴/图例的属性组合匹配结果的判定,因此,只有结构匹配并且resulti为1时,才判定匹配成功,由此提高数据属性匹配的准确率,减少无实际意义图像的生成率。</p></div></span></div></div><div tabIndex="0" role="presentation" style="width:0;height:0;overflow:hidden;position:absolute;"></div></div><div role="tabpanel" aria-hidden="true" class="ant-tabs-tabpane ant-tabs-tabpane-inactive"></div><div role="tabpanel" aria-hidden="true" class="ant-tabs-tabpane ant-tabs-tabpane-inactive"></div><div role="tabpanel" aria-hidden="true" class="ant-tabs-tabpane ant-tabs-tabpane-inactive"></div><div role="tabpanel" aria-hidden="true" class="ant-tabs-tabpane ant-tabs-tabpane-inactive"></div></div><div tabIndex="0" role="presentation" style="width:0;height:0;overflow:hidden;position:absolute;"></div></div></div></div> <!----> <div class="right_content"><div class="right_content" style="width:;" data-v-0d880f8f><!----> <!----> <div class="command_box fourth" data-v-0d880f8f><div class="tit" data-v-0d880f8f><span data-v-0d880f8f><img src="/_nuxt/img/important.ff8246f.svg" alt data-v-0d880f8f></span> <span class="desc" data-v-0d880f8f>推荐专利</span></div> <a target="_blank" title="面向需求自适应的Web服务动态演化方法" href="https://www.iprtt.com/sell/detail/2018109391973" class="items clearfix" data-v-0d880f8f><div title="面向需求自适应的Web服务动态演化方法" class="title hand" data-v-0d880f8f>面向需求自适应的Web服务动态演化方法</div> <div class="bottom" data-v-0d880f8f><div class="tips typeName invente" data-v-0d880f8f>发明专利</div> <div class="price1" data-v-0d880f8f><span data-v-0d880f8f>¥32200</span></div></div></a><a target="_blank" title="基于辅助性知识的Web服务开发者按需推荐方法及系统" href="https://www.iprtt.com/sell/detail/2019107960476" class="items clearfix" data-v-0d880f8f><div title="基于辅助性知识的Web服务开发者按需推荐方法及系统" class="title hand" data-v-0d880f8f>基于辅助性知识的Web服务开发者按需推荐方法及系统</div> <div class="bottom" data-v-0d880f8f><div class="tips typeName invente" data-v-0d880f8f>发明专利</div> <div class="price1" data-v-0d880f8f><span data-v-0d880f8f>¥38400</span></div></div></a><a target="_blank" title="基于用户需求分析的数据推荐方法及系统" href="https://www.iprtt.com/sell/detail/2022115530471" class="items clearfix" data-v-0d880f8f><div title="基于用户需求分析的数据推荐方法及系统" class="title hand" data-v-0d880f8f>基于用户需求分析的数据推荐方法及系统</div> <div class="bottom" data-v-0d880f8f><div class="tips typeName invente" data-v-0d880f8f>发明专利</div> <div class="price1" data-v-0d880f8f><span data-v-0d880f8f>¥54300</span></div></div></a><a target="_blank" title="一种基于用户需求的云计算网络管理控制方法" href="https://www.iprtt.com/sell/detail/2021110337990" class="items clearfix" data-v-0d880f8f><div title="一种基于用户需求的云计算网络管理控制方法" class="title hand" data-v-0d880f8f>一种基于用户需求的云计算网络管理控制方法</div> <div class="bottom" data-v-0d880f8f><div class="tips typeName invente" data-v-0d880f8f>发明专利</div> <div class="price1" data-v-0d880f8f><span data-v-0d880f8f>¥29900</span></div></div></a></div> <div class="ques_box second img" data-v-0d880f8f><div class="btn" data-v-0d880f8f>我要求购</div></div> <div class="ques_box third" data-v-0d880f8f><div class="tit" data-v-0d880f8f>我不想找了,帮我找吧</div> <div class="form_box" data-v-0d880f8f><form class="ant-form ant-form-horizontal" data-v-0d880f8f><div class="ant-row ant-form-item" data-v-0d880f8f><div class="ant-col ant-form-item-control-wrapper"><div class="ant-form-item-control"><span class="ant-form-item-children"><textarea placeholder="请输入委托购买描述,100字以内" row="4" data-__meta="[object Object]" data-__field="[object Object]" id="buy_form_describe" class="ant-input" data-v-0d880f8f></textarea></span><!----></div></div></div> <div class="ant-row ant-form-item" data-v-0d880f8f><div class="ant-col ant-form-item-control-wrapper"><div class="ant-form-item-control"><span class="ant-form-item-children"><input placeholder="请输入联系电话" type="text" data-__meta="[object Object]" data-__field="[object Object]" id="buy_form_contact" class="ant-input" data-v-0d880f8f></span><!----></div></div></div> <div class="ant-row ant-form-item" data-v-0d880f8f><div class="ant-col ant-form-item-control-wrapper"><div class="ant-form-item-control"><span class="ant-form-item-children"><input placeholder="请输入姓名" type="text" data-__meta="[object Object]" data-__field="[object Object]" id="buy_form_name" class="ant-input" data-v-0d880f8f></span><!----></div></div></div> <div class="ant-row ant-form-item" data-v-0d880f8f><div class="ant-col ant-form-item-control-wrapper"><div class="ant-form-item-control"><span class="ant-form-item-children"><button type="button" class="box_btns ant-btn ant-btn-primary" data-v-0d880f8f><span>提 交</span></button></span><!----></div></div></div></form></div></div> <div class="ques_box first" data-v-0d880f8f><div class="tit" data-v-0d880f8f>您有专利需要变现?</div> <div class="btn" data-v-0d880f8f>我要出售</div> <div class="desc" data-v-0d880f8f>智能匹配需求,快速出售</div></div> <!----> <!----> <!----> <!----> <!----> <!----> <!----></div></div></div></div><div class="addPool_dialog"><!----> <!----></div></div></div></div> <div id="footer"><div class="mwidth"><div class="foottxt"><div class="footlogo fl"><a href="/" class="nuxt-link-active"><img src="/_nuxt/img/blogo.9684e5c.svg" alt="知嘟嘟" title="知嘟嘟专利交易平台" style="width:200px;height:64px;margin-top:0px;"></a></div> <div class="fr footmain"><div class="footnav1"><h3><a href="https://www.iprtt.com/" target="_blank">知嘟嘟</a></h3> <ul><li><a href="/sell/p1">专利商城</a></li> <li><a href="/purchase">专利求购</a></li></ul></div> <div class="footnav1"><h3>友情链接</h3> <ul><li><a target="_blank" href="https://www.iprdb.com">知嘟嘟专利检索</a></li> <li><a target="_blank" href="https://www.cnipa.gov.cn/">国家知识产权局</a></li></ul></div> <div class="footnav1"><h3>关于我们</h3> <ul><li><a href="/agreement/register">注册协议</a></li> <li><a href="/map">网站地图</a></li> <li><a href="/help">帮助中心</a></li> <li><a href="/about">关于我们</a></li></ul></div> <div class="footnav1 last1"><h3>联系我们</h3> <ul><li>13095918853</li> <li><div>地址:上海市松江区</div> <div>新桥镇莘砖公路518号5幢3层</div></li></ul></div> <div class="footnav1 last"><div class="qrcode"></div></div></div> <div class="clear"></div></div> <!----></div> <div class="copyright">Copyright © 2019 上海吉码数字技术有限公司 <a href="https://beian.miit.gov.cn/" target="_blank">备案号: 沪ICP备20016256号-1</a> <a href="https://tsm.miit.gov.cn/dxxzsp/" target="_blank">增值电信业务经营许可证:沪B2-20201290</a></div></div></div></div></div><script>window.__NUXT__=(function(a,b,c,d,e,f,g,h,i,j,k,l,m,n){m[0]={applicationNumber:"2018109391973",attachedImg:"https:\u002F\u002Fwww.iprdb.com\u002Fviewimg\u002FfnMSDw0MBRIMEgwFChJUUFxaWE4SDw0MBQwNBA4EDAQKE1dNWg==",applicant:"浙江工业大学",options:{schoolID:k},patentStatusId:d,patentType:c,states:c,title:"面向需求自适应的Web服务动态演化方法",price:32200};m[1]={applicationNumber:"2019107960476",attachedImg:"https:\u002F\u002Fwww.iprdb.com\u002Fviewimg\u002FfnMSDw0MBBIMEgwIBBJUUFxaWE4SDw0MBAwNCgQLDQkKE1dNWg==",applicant:"河南大学",options:{schoolID:"406908631926848"},patentStatusId:d,patentType:c,states:c,title:"基于辅助性知识的Web服务开发者按需推荐方法及系统",price:38400};m[2]={applicationNumber:"2022115530471",attachedImg:"https:\u002F\u002Fwww.iprdb.com\u002Fviewimg\u002FfnMSDw0PDxIMEg4MDRJUUFxaWE4SDw0PDwwMCAgODQkKE1dNWg==",applicant:"雨果跨境(厦门)科技有限公司",options:{feeData:{paymentDeadline:"2023-08-10"}},patentStatusId:d,patentType:c,states:c,title:"基于用户需求分析的数据推荐方法及系统",price:54300};m[3]={applicationNumber:"2021110337990",attachedImg:"https:\u002F\u002Fwww.iprdb.com\u002Fviewimg\u002FfnMSDw0PDBIMEg8NCxJUUFxaWE4SDw0PDAwMDQ4OCgQEE1dNWg==",applicant:"温州众邦科技技术研究有限公司",patentStatusId:c,patentType:c,states:c,title:"一种基于用户需求的云计算网络管理控制方法",price:29900};return {layout:"default",data:[{info:{applicationNumber:"2019112548147",attachedImg:"https:\u002F\u002Fwww.iprdb.com\u002Fviewimg\u002FfnMSDw0MBBIMEg8IDRJUUFxaWE4SDw0MBAwMDwgJBQwJE1dNWg==",domain:"计算;推算;计数",applicantType:"企业",applicant:"深圳市数康云信息技术有限公司",options:{schoolID:k},agents:[{annualSales:e,isBroker:b,isCompany:b,isMember:b,statusDes:g,id:412916247139392,phone:"15111049506",code:1503,fullName:"151****9506",kind:h,introduction:"找我买专利",levelExpired:"2024-08-18",headURL:"http:\u002F\u002Fimg.iprdb.cn\u002Fiprtt\u002Fuser\u002Fheadwx\u002F385395053343808.jpg",weChatURL:"https:\u002F\u002Fimg.iprdb.cn\u002Fiprtt\u002Fuser\u002Fwechat\u002Fwechat_15111049506.jpg",score:i,workYear:d,status:j,imUserID:"6771633064",userID:427239554636864,edges:{}},{annualSales:e,isBroker:b,isCompany:b,isMember:f,statusDes:g,id:426449810251840,phone:"13336804447",code:1038,fullName:"133******4447",kind:h,level:c,levelExpired:"2025-01-15",headURL:l,weChatURL:"https:\u002F\u002Fimg.iprdb.cn\u002Fiprtt\u002Fuser\u002Fwechat\u002Fwechat_13336804447.jpg",score:i,workYear:d,status:j,userID:426441748206663,edges:{}},{annualSales:e,isBroker:b,isCompany:b,isMember:f,statusDes:g,id:441504353011779,phone:"13251975360",code:2188,fullName:"132******5360",kind:h,level:c,levelExpired:"2025-07-03",headURL:l,weChatURL:"https:\u002F\u002Fimg.iprdb.cn\u002Fiprtt\u002Fuser\u002Fwechat\u002Fwechat_13251975360.jpg",score:i,workYear:d,status:j,userID:437879238457408,edges:{}}],patentStatusId:d,patentType:c,states:c,summary:"一种面向可视化需求的基于知识图谱的Web数据优化方法,包括以下步骤:第一步、目标领域语料库的构建;第二步、面向语料库的实体抽取;第三步、将语料库进行二次预分组,使用k‑means聚类算法构建知识图谱;第四步、对各种可视化图形进行分类,归纳总结各类图形的属性和结构特征,通过创建可视化模型树VT来形式化地表达各类图形信息;第五步、基于网络语料知识图谱的数据可视化优化匹配方法:定义M‑JSON为REST Web服务返回的JSON的原型结构,并将M‑JSON与可视化模型树中的数据结构进行匹配,利用第三步的知识图谱查询匹配的属性组合否存在实际语义关联,以选取有效的维度组合,提升自动化生成图形的精确率。",title:"面向可视化需求的基于知识图谱的Web数据优化方法",updatedAt:"2024-02-23",price:47700,ipc:"G06F16\u002F9538",claimsHtml:"\u003Cdiv num=\"1\"\u003E\u003Cp class=\"claim-text\"\u003E1.一种面向可视化需求的基于知识图谱的Web数据优化方法,其特征在于,所述方法包括以下步骤:\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"2\"\u003E\u003Cp class=\"claim-text\"\u003E第一步、目标领域语料库的构建:把网络语料内容作为构建知识图谱的基础,使用网络语料词条信息作为原始语料内容,为构建知识图谱而对原始网络语料内容进行筛选,比较分析网络词条的网页内容,原始语料内容中除了标题和正文信息外,还包含了HTML标签,词条本身的编辑信息,网页链接信息与词条本身无关的冗余信息,对网络词条的内容进行过滤清洗,抽取标题与有效的正文内容,过滤内容包括:对词条的网页内容执行HTML标签\u002F文本样式符号过滤、词条模板符号及非英文字符过滤、词条编辑信息过滤、图片信息过滤、链接信息过滤、页面专有标题属性名过滤以及数值过滤;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"3\"\u003E\u003Cp class=\"claim-text\"\u003E第二步、面向语料库的实体抽取:知识图谱是由实体与关系构成图结构的数据信息网,以“实体‑关系‑实体”的三元组来表示知识图谱的基础结构,三元组中包括了两个有现实语义关系的实体和两个实体间的关系,用G=(head,relation,tail)的形式来表示,其中G表示三元组,head表示头实体,tail表示尾实体,relation表示头实体和尾实体间的关系;每个实体本身还包含了属性及属性值,将实体的属性也转化为与该实体相连的尾实体,并在两者间建立relation关系,实体抽取分为命名实体抽取、属性实体抽取及名词实体抽取三个阶段;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"4\"\u003E\u003Cp class=\"claim-text\"\u003E第三步:结合Word2vec,将语料库进行二次预分组,使用k‑means聚类算法构建知识图谱:三元组G的结构为(head,relation,tail),随着head和tail的不同,relation也有多种关系,relation是知识图谱中的关系集合,用以表示多种实体间的复杂联系,其目的在于判断两个属性间是否存在语义关联,即两个实体间是否存在关系,而不关注存在何种关系,通过计算语料库词汇的词向量,将语料库进行二次分组,使用k‑means聚类算法来抽取实体关系;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"5\"\u003E\u003Cp class=\"claim-text\"\u003E第四步、构建可视化模型树VT:对各种可视化图形进行分类,归纳总结各类图形的属性和结构特征,通过创建一种可视化模型树VT,来形式化地表达各类图形信息;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"6\"\u003E\u003Cp class=\"claim-text\"\u003E第五步、基于网络语料知识图谱的数据可视化优化匹配方法:定义M‑JSON为REST Web服务返回的JSON的原型结构;将Web数据原型结构M‑JSON与可视化模型树VT中的每个StructModel依据数据结构进行匹配,返回的结果是符合条件的候选坐标轴\u002F图例的属性组合构成的集合;在结构匹配的基础上,利用第三步中构建的知识图谱,查询匹配出来的候选坐标轴\u002F图例的属性组合否存在实际语义关联,根据查询结果优化匹配,选取有效的维度组合,以提升自动化生成图形的精确率。\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"7\"\u003E\u003Cp class=\"claim-text\"\u003E2.如权利要求1所述的面向可视化需求的基于知识图谱的Web数据优化方法,其特征在于,所述第二步中,实体抽取分为命名实体抽取、属性实体抽取及名词实体抽取三个阶段;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"8\"\u003E\u003Cp class=\"claim-text\"\u003E2.1、实体抽取:实体抽取又称为命名实体识别,是从文本数据集中自动识别出命名实体,这指的是人名、地名、机构名词以及其它所有名称为标识的实体,该流程通过使用一些主流的命名实体识别系统来完成,其步骤包括:一、通过工具对语料库内容进行命名实体识别;二、将识别出的命名实体标注它的类型属性;三、根据类型属性对命名实体进行过滤,删除不合适的命名实体,保留其它命名实体的标注,同时将词条名称默认定义为命名实体;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"9\"\u003E\u003Cp class=\"claim-text\"\u003E2.2、属性实体抽取:以词条网络语料的信息框为属性的来源,从信息框中提取属性,然后在语料库中截取每个词条的信息框信息,按照信息框结构,提取属性名称,作为所属词条的名称所对应的命名实体的尾实体,不保留属性值,若某词条不存在信息框,则不必为该词条对应的命名实体创建尾实体;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"10\"\u003E\u003Cp class=\"claim-text\"\u003E2.3、名词实体抽取,包括四个步骤:单词拆分Split、词性标注POS Tagging、停用词过滤Stop Word Filtering和词干提取Stemming,命名实体抽取步骤中已经标注了识别出的命名实体,因此接下来的操作仅对标注的实体外的语料内容进行抽取。\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"11\"\u003E\u003Cp class=\"claim-text\"\u003E3.如权利要求2所述的面向可视化需求的基于知识图谱的Web数据优化方法,其特征在于,所述2.3的过程如下:\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"12\"\u003E\u003Cp class=\"claim-text\"\u003E2.3.1、单词拆分:使用正则表达式设计拆分规则模式,根据空格、符号、段落对语料库内容进行单词拆分,获取单词文本;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"13\"\u003E\u003Cp class=\"claim-text\"\u003E2.3.2、词性标注:为获取语料库中的名词,首先需要对文本词汇进行词性标注,词性标注也被称为语法标注或词类消疑,是语料库语言学中将语料库内单词的词性按其含义和上下文内容进行标记的文本数据处理技术,许多单词同时含有多个词性,拥有多种意义,而其词性的选择取决于上下文意义,将已进行命名实体标注的语料库作为标注对象文本进行词性标注,根据标注结果查找出名词对象,并在语料库中剔除非名词对象,但不包括非名词的词条名称,此时语料库中保留的是每个词条中的命名实体、名词对象及原有标点,并且所有内容仍然保持原有文本顺序;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"14\"\u003E\u003Cp class=\"claim-text\"\u003E2.3.3、停用词过滤:停用词这一名称来源于Stop Word,指代在信息检索中为了节省存储空间和提高搜索效率,在处理自然语言文本时自动过滤掉的字或词,对于一个给定的目的,任何一类词语都可以被选作停用词,停用词包括两类:一类是人类语言中包含的功能词Function Words,这类功能词使用非常普遍,出现频率极高,但又没有确切的实际含义;另一类为实词Content Words,这里指一部分有实际具体意义但又无明确指代或指向的词;在自然语言处理中,已有了停用词表Stop Word List,将停用词表作为参照字典,通过单词比对从语料库中删除停用词,进一步精简语料库内容,确保保留语料中无停用词;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"15\"\u003E\u003Cp class=\"claim-text\"\u003E2.3.4、词干提取:词干化提取是一种去除形态词缀得到对应词根的过程,是西方语言特有的处理过程;同一个英文单词有单数和复数的变形、时态的变形、人称代词对应不同谓语的变形,这些词虽然形式上有一些细微差别,但是都对应着相同的词根,在计算相关性的情况下应该作为相同的词来进行处理,这时就需要进行词干化处理;波特词干算法Porter Stemming Algorithm是一种主流的词干提取算法,其核心理念是根据形态词缀的类型,对单词进行分类处理还原,除了部分特殊的变形,大多数的单词变形是有一定规律的,依照规律将形变分为6种类别。\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"16\"\u003E\u003Cp class=\"claim-text\"\u003E4.如权利要求3所述的面向可视化需求的基于知识图谱的Web数据优化方法,其特征在于,所述2.3.4中,词干的提取步骤如下:\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"17\"\u003E\u003Cp class=\"claim-text\"\u003E2.3.4.1、依照单词变形类别,针对每一种情况进行词缀去除与单词复原,获得语料库中名词对象的词干信息,以减少同词不同形的情况,6种不同单词变形如下:\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"18\"\u003E\u003Cp class=\"claim-text\"\u003E2.3.4.1.1、复数、以ed和ing结尾的单词;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"19\"\u003E\u003Cp class=\"claim-text\"\u003E2.3.4.1.2、单词中包含元音,并以y结尾的单词;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"20\"\u003E\u003Cp class=\"claim-text\"\u003E2.3.4.1.3、双后缀的单词;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"21\"\u003E\u003Cp class=\"claim-text\"\u003E2.3.4.1.4、以‑ic,‑ful,‑ness,‑ative为后缀的单词;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"22\"\u003E\u003Cp class=\"claim-text\"\u003E2.3.4.1.5、\u003Cc\u003Evcvc\u003Cv\u003E情形下,‑ant,‑ence后缀的单词,c为辅音,v为元音;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"23\"\u003E\u003Cp class=\"claim-text\"\u003E2.3.4.1.6、\u003Cc\u003Evc\u003Cv\u003E元音辅音间有超过1对vc的情形下,以e结尾的单词;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"24\"\u003E\u003Cp class=\"claim-text\"\u003E2.3.4.2、将还原为词干的名词对象创建为名词实体,并在语料库中更新名词对象,用词干形式来表示。\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"25\"\u003E\u003Cp class=\"claim-text\"\u003E5.如权利要求1~4之一所述的面向可视化需求的基于知识图谱的Web数据优化方法,其特征在于,所述第三步中,知识图谱的构建流程如下:\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"26\"\u003E\u003Cp class=\"claim-text\"\u003E3.1、使用Word2vec训练词向量:Word2vec是一种词向量工具,它将词表示成词的特征向量,使用Word2vec将词转换成数值形式,使用一个N维向量来表示;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"27\"\u003E\u003Cp class=\"claim-text\"\u003E3.2、将语料库进行两次预先分组:由于k‑means算法的分簇易受数据集本身分布情况影响,为保证核心概念,即目标领域的主要分类对象为聚类中心,不能直接使用k‑means聚类,要对语料库进行两次预先分组;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"28\"\u003E\u003Cp class=\"claim-text\"\u003E3.3、通过k‑means聚类算法对小语料集合自动查找聚类中心,进行分簇,同时构建三元组,步骤如下:\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"29\"\u003E\u003Cp class=\"claim-text\"\u003E3.3.1、根据小语料集合的大小决定k的大小,集合越大k值越大;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"30\"\u003E\u003Cp class=\"claim-text\"\u003E3.3.2、经过k‑means聚类计算得到的质心所对应的实体将与上一层分组时的质心所对应的实体构建三元组;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"31\"\u003E\u003Cp class=\"claim-text\"\u003E其中,步骤3.3.2中k‑means算法是一种无监督聚类算法,使用语料库经过Word2vec所训练出来的词向量来代表每一个词,将每个小语料集合作为数据集,使用k‑means聚类算法进行聚类计算,k‑means聚类的步骤如下:\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"32\"\u003E\u003Cp class=\"claim-text\"\u003E3.3.2.1、选取数据集中的k个对象作为初始中心,每个对象代表一个聚类中心;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"33\"\u003E\u003Cp class=\"claim-text\"\u003E3.3.2.2、词向量样本中的对象,根据它们与这些聚类中心的欧氏距离,将它们分到距离它们最近的聚类中心所对应的类;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"34\"\u003E\u003Cp class=\"claim-text\"\u003E3.3.2.3、更新聚类中心:将每个类别中所有对象所对应的均值作为该类别的聚类中心,计算目标函数的值;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"35\"\u003E\u003Cp class=\"claim-text\"\u003E3.3.2.4、判断聚类中心和目标函数的值是否发生改变,若不变,则输出结果,若改变,则返回3.3.2.2;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"36\"\u003E\u003Cp class=\"claim-text\"\u003E3.3.3、将新的分组作为数据集合,再次调用k‑means算法,重复步骤3.3.1~3.3.3,直至每个分组仅含有小于某个阈值Z的元素数量;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"37\"\u003E\u003Cp class=\"claim-text\"\u003E3.3.4、将每个分组中的数据点所对应的实体与当前质心所对应的实体构建三元组;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"38\"\u003E\u003Cp class=\"claim-text\"\u003E至此语料库中所有的实体都与其他实体建立了关系,它们对应构成的三元组相互组合,从而构成了知识图谱,由于自动聚类所查找出的簇心与分簇情况,有可能会产生相关性较弱的实体关系,因此知识图谱构建完成后需要人工校对筛查,去除相关性低的实体关联,以提高知识图谱的质量。\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"39\"\u003E\u003Cp class=\"claim-text\"\u003E6.如权利要求5所述的面向可视化需求的基于知识图谱的Web数据优化方法,其特征在于,所述3.2的步骤如下:\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"40\"\u003E\u003Cp class=\"claim-text\"\u003E3.2.1、对语料库一次分组,步骤如下:\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"41\"\u003E\u003Cp class=\"claim-text\"\u003E3.2.1.1、将先前获取的目标领域标签的第一层子分类标签提取出来,目标领域标签形成核心实体,并生成第一层子分类标签集合Tag,其中共包含了n个子分类标签,每个标签都有一个对应的实体和词向量,并且这些实体都与核心实体相连,构成n个三元组;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"42\"\u003E\u003Cp class=\"claim-text\"\u003E3.2.1.2、将第一层子分类标签对象作为质心,计算语料库数据集中各个数据点到各个质心的欧式距离,然后根据就近原则,将数据点分配至每个质心所对应的类中,获得了以第一层子分类标签为质心的n个簇,即n个分组数据集,同时语料库也被分为了n个语料集合;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"43\"\u003E\u003Cp class=\"claim-text\"\u003E其中,步骤3.2.1.2中欧式距离(Euclidean Distance)是判断数据点所属类别的重要依据,假设有给定的样本 与 其中i',j=1,\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"44\"\u003E\u003Cp class=\"claim-text\"\u003E2,…,m,m表示样本数,n'表示特征数,欧式距离的计算方式为:\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"45\"\u003E\u003Cp class=\"claim-text\"\u003E3.2.2、结合TF‑IDF算法,对语料库二次分组,其步骤如下:\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"46\"\u003E\u003Cp class=\"claim-text\"\u003E3.2.2.1、通过计算TF‑IDF查找出每个语料集合中的关键词;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"47\"\u003E\u003Cp class=\"claim-text\"\u003E其中,步骤3.2.2中TF‑IDF算法是一种用于评估一个词对指定文档的重要性的数值统计方法,词频TF(Term Frequency)指给定词在给定文档中出现的频率,其计算公式为:nx,y指文档y中术语x出现的次数,∑knk,y指文档y中总的词汇数,逆向文档频率IDF(Inverse Document Frequency)是用于评估单词或术语提供的信息量,即该术语在整个文档中是否常见,其计算公式为:N指文档的总数,nx指出现术语x的文档数量,文本中每一个词条作为一个文档,最后共同计算TF与IDF的值,获得TF‑IDF的公式为:(TF‑IDF)x,y=TFx,y×IDFx\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"48\"\u003E\u003Cp class=\"claim-text\"\u003E3.2.2.2、对每个语料集合的关键词进行人工筛选,去除与当前语料集合的核心实体相关性低的关键词,保留相关性最高的部分关键词,保留关键词数量与提取出的所有关键词的整体质量相关;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"49\"\u003E\u003Cp class=\"claim-text\"\u003E3.2.2.3、将每个语料集合中提取出的并通过筛选的关键词所对应的实体与当前语料集合的核心实体构建三元组,以这些关键词为每个语料集合中的质心,再进行一次集合中的数据点到各个质心的欧氏距离计算,并对数据点进行分类,原语料库此时已经被划分为多个小语料集合。\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"50\"\u003E\u003Cp class=\"claim-text\"\u003E7.如权利要求1~4之一所述的面向可视化需求的基于知识图谱的Web数据优化方法,其特征在于,所述第四步的步骤如下:\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"51\"\u003E\u003Cp class=\"claim-text\"\u003E4.1、定义VT包括基础属性BASICATTRIBUTE和可视结构DVSCHEMA两个部分,形式化定义如(1),其中BASICATTRIBUTE保存了图形标题、副标题及其他文本样式的通用信息;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"52\"\u003E\u003Cp class=\"claim-text\"\u003E(1)、VT::=\u003CBASICATTRIBUTE\u003E\u003CDVSCHEMA\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"53\"\u003E\u003Cp class=\"claim-text\"\u003E4.2、BASICATTRIBUTE包括三个属性:标题title、子标题subtitle、属性attributes,形式化定义如(2),title用于保存最终生成的可视化图形的标题,subtitle用于保存最终生成的可视化图形的子标题,attributes用于保存最终生成的可视化图形的位置、颜色组合、字体、字号设置参数;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"54\"\u003E\u003Cp class=\"claim-text\"\u003E(2)、BASICATTRIBUTE::=\u003Ctitle\u003E\u003Csubtitle\u003E\u003Cattributes\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"55\"\u003E\u003Cp class=\"claim-text\"\u003E4.3、BASICATTRIBUTE根据图形所需的数据类型、图形数据结构、图形维度将常见的可视化图形归纳为四种基础类别:一般图形General、拓扑图Topology、地图Map、文本图形Text,形式化定义如(3);\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"56\"\u003E\u003Cp class=\"claim-text\"\u003E(3)、DVSCHEMA::=\u003CGeneral\u003E\u003CTopology\u003E\u003CMap\u003E\u003CText\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"57\"\u003E\u003Cp class=\"claim-text\"\u003E4.4、步骤4.3中的四种基础类别下属均分别包含两个属性:图形类型VType和图形结构StructModel,VType保存了该类别所属图形种类,StructModel保存了该类别所属图形的基本可视化结构,形式化定义如(4),“A::B”表示“A包含了属性B”;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"58\"\u003E\u003Cp class=\"claim-text\"\u003E(4)、DVSCHEMA::=\u003CGeneral\u003E\u003CTopology\u003E\u003CMap\u003E\u003CText\u003E::\u003CVType\u003E\u003CStructModel\u003E。\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"59\"\u003E\u003Cp class=\"claim-text\"\u003E8.如权利要求7所述的面向可视化需求的基于知识图谱的Web数据优化方法,其特征在于,所述4.4中,四种基础类别的VType属性的所属图形如下:\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"60\"\u003E\u003Cp class=\"claim-text\"\u003E4.4.1、General包括柱状图BarChart、折线图LineChart、饼图PieChart、雷达图RadarChart、散点图ScatterChart;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"61\"\u003E\u003Cp class=\"claim-text\"\u003E4.4.2、Topology包括网络图NetworkChart、树图TreeMap、面积树图TreeMapChart;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"62\"\u003E\u003Cp class=\"claim-text\"\u003E4.4.3、Map包括地区地图AreaMapChart、国家地图CountryMapChart、世界地图WorldMapChart;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"63\"\u003E\u003Cp class=\"claim-text\"\u003E4.4.4、Text包括词云WorldCloudChart;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"64\"\u003E\u003Cp class=\"claim-text\"\u003E4.5、步骤4.4中四种基础类别均有各自的映射关系Mapping,描述了各类图形的数据结构、数据维度、图形结构关系、数据映射位置信息;根据Mapping信息并结合图形的数据结构,可以抽象出各类图形的基本可视化结构StructModel。\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"65\"\u003E\u003Cp class=\"claim-text\"\u003E9.如权利要求7所述的面向可视化需求的基于知识图谱的Web数据优化方法,其特征在于,所述4.5中,各类图形的映射关系Mapping及基本可视化结构StructModel定义如下:\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"66\"\u003E\u003Cp class=\"claim-text\"\u003E4.5.1、General类型中的图形用于表示二维数据或三维数据,可用二元组(XAxis,YAxis)或三元组(XAxis,YAxis,ZAxis)来表示信息,此类图形的Mapping结构如(5),其中LegendName表示图例名称,以ARRAY类型来存储各分组信息;根据Mapping结构可抽象出基础StructModel的结构如(6),StructModel的子节点为临时根节点Root,Root包含两个子节点:键值对K_V与图例节点LegendNode;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"67\"\u003E\u003Cp class=\"claim-text\"\u003E(5)、Mapping::=\u003CXAxis,YAxis,[ZAxis]\u003E\u003CLegendName\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"68\"\u003E\u003Cp class=\"claim-text\"\u003E(6)、StructModel::=\u003CRoot::\u003CK_V\u003E\u003CLegendNode\u003E\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"69\"\u003E\u003Cp class=\"claim-text\"\u003E4.5.2、Topology类型中的图形用于表示拓扑关系数据,树图与面积树图可用嵌套的键值对{key:value,children:{key:value}}来表示属性结构,Mapping结构如(7);网络图可用节点集合Nodes和边集合Links来表示图结构,Mapping结构如(8),其中source表示一条边link的起始节点,target表示该条边link的指向节点;根据Mapping结构可抽象出基础StructModel的结构如(9),StructModel有两个子结构,Root1和Root2分别为两个子结构的临时根节点,Root1包含两个子节点:键值对K_V和孩子节点children,children的子结构为键值对K_V;Root2包含两个子节点:节点集合Nodes和边集合Links,节点集合的子节点为关键字key和值value,其中value可以为空,边集合的子节点为起点source和目标target;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"70\"\u003E\u003Cp class=\"claim-text\"\u003E(7)、Mapping::=\u003CK_V\u003E\u003Cchildren::\u003CK_V\u003E\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"71\"\u003E\u003Cp class=\"claim-text\"\u003E(8)、Mapping::=\u003CNodes::\u003Ckey,[value]\u003E\u003CLinks::\u003Csource\u003E\u003Ctarget\u003E\u003E(9)、StructModel::=\u003CRoot1::\u003CK_V\u003E\u003Cchildren::\u003CK_V\u003E\u003E\u003E\u003CRoot2::\u003CNodes::\u003Ckey,[value]\u003E,\u003CLinks::\u003Csource\u003E\u003Ctarget\u003E\u003E\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"72\"\u003E\u003Cp class=\"claim-text\"\u003E4.5.3、Map类型中的图形用于表示地图信息,用键值对数组[{PlaceName:value}]或三元组数组[{lng,lat,value}]来表示地图信息,此类图形的Mapping结构如(10),其中PlaceName表示地名,lng表示纬度,lat表示经度;根据Mapping结构可抽象出基础StructModel的结构如(11),StructModel有两个子结构,Root1和Root2分别为两个子结构的临时根节点,Root1包含子子节点键值对K_V;Root2包含了三个子节点:经度lat,纬度lng,数值value;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"73\"\u003E\u003Cp class=\"claim-text\"\u003E(10)、Mapping::=\u003CData1::\u003CPlaceName\u003E\u003Cvalue\u003E\u003E\u003CData2::\u003Clng\u003E\u003Clat\u003E\u003Cvalue\u003E\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"74\"\u003E\u003Cp class=\"claim-text\"\u003E(11)、StructModel::=\u003CRoot1::\u003CK_V\u003E\u003E,\u003CRoot2::\u003Clng\u003E,\u003Clat\u003E,\u003Cvalue\u003E\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"75\"\u003E\u003Cp class=\"claim-text\"\u003E4.5.4、Text类型中的图形用二元组(Keyword,frequency)来表示关键字频率,此类图形的Mapping结构如(12),其中Keyword为文本中提取出的词汇,frequency表示该词汇在文本中的出现频率;根据Mapping结构可抽象出基础StructModel的结构如(13),StructModel的子节点为临时根节点Root,Root包含了键值对K_V;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"76\"\u003E\u003Cp class=\"claim-text\"\u003E(12)、Mapping::=\u003CKeyword\u003E\u003Cfrequency\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"77\"\u003E\u003Cp class=\"claim-text\"\u003E(13)、StructModel::=\u003CRoot::\u003CK_V\u003E\u003E。\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"78\"\u003E\u003Cp class=\"claim-text\"\u003E10.如权利要求9所述的面向可视化需求的基于知识图谱的Web数据优化方法,其特征在于,所述第五步的步骤如下:\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"79\"\u003E\u003Cp class=\"claim-text\"\u003E5.1、将Web数据原型结构M‑JSON与可视化模型树VT的StructModel依据数据结构进行匹配,M‑JSON中匹配出m个符合条件的候选坐标轴\u002F图例的属性组合结果,其中每个组合结果表示为一个含键值对L和一个属性名A组成的二元组,其中L和A分别与步骤4.5.1中的LegendNode和K_V对应;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"80\"\u003E\u003Cp class=\"claim-text\"\u003E5.2、结合构建的网络语料知识图谱对m个符合条件的属性组合进行匹配优化过程如下:\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"81\"\u003E\u003Cp class=\"claim-text\"\u003E5.2.1、步骤5.1中每个匹配结果以二元组的形式来表示:P=(L::name,A::name),将每个匹配结果Pi=(Li::name,Ai::name),转化为三元组形式Gi=(Li::name,R,Ai::name)放入集合S={G1,G2,…,Gm};\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"82\"\u003E\u003Cp class=\"claim-text\"\u003E5.2.2、依次将集合S里Gi的三个参数与知识图谱的三元组结构进行如下映射F(Li::\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"83\"\u003E\u003Cp class=\"claim-text\"\u003Ename→head,R→relation,Ai::name→tail)映射成三元组(head,relation,tail),在构建语料知识图谱中匹配是否存在当前三元组(head,relation,tail),result为匹配结果为True或False,分别表示为1和0,首先在语料知识图谱中匹配头实体节点head和尾实体节点tail,然后匹配头实体节点和尾实体节点之间的关系relation,当且仅当头实体head,尾实体tail及关系relation都匹配成功,result为1;\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv num=\"84\"\u003E\u003Cp class=\"claim-text\"\u003E5.2.3、集合S中的对象查询完成后,返回集合Q={(Gi,resulti)},并将Q用于判断当前符合条件的二元组是否存在语义关联,作为候选坐标轴\u002F图例的属性组合匹配结果的判定,因此,只有结构匹配并且resulti为1时,才判定匹配成功,由此提高数据属性匹配的准确率,减少无实际意义图像的生成率。\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E",descriptionHTML:"\u003Ch3 class=\"subhead\"\u003E面向可视化需求的基于知识图谱的Web数据优化方法\u003C\u002Fh3\u003E\u003Ch3 class=\"sub-head\"\u003E技术领域\u003C\u002Fh3\u003E\u003Cdiv\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0001] 本发明涉及一种面向可视化需求的基于知识图谱的Web数据优化方法。\u003C\u002Fdiv\u003E\u003Ch3 class=\"sub-head\"\u003E背景技术\u003C\u002Fh3\u003E\u003Cdiv\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0002] 面向服务的计算(Service‑Oriented Computing,SOC)是当前工业界与学术界都备受关注的一种针对分布式系统的计算范型。在SOC计算模式的发展推动下,Web服务得到了进一步的普及与应用。随着2000年REST(Representational State Transfer)架构风格的提出,REST服务逐渐成为Web服务的重要组成部分。REST服务简单、轻量、快速的特点促使它在Internet上盛行,并保持可观的指数增长,同时也带动了服务数量的增长。多样化的数据服务交叉融合了经济、医疗、体育、生活等多个领域,催生了巨量的数据。但是无论面对怎样的数据,人类获取数据的根本目的仍然在于获得数据中的有效信息。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0003] 数据可视化通过交互式可视化界面及数据‑图像转换技术来辅助用户对数据进行分析理解。可视化的基础是数据,而网络数据时代的数据是多源异构的(multi‑source heterogeneous),这带来了数据源集成,数据编排的问题;众多领域的数据服务供应商提供了大量服务,各个服务有各自不同结构的数据响应方式与响应格式,这为数据获取,数据解析带来了困难;随着多媒体技术与可视化技术的发展,人们不再满足于普通的表单数据,而追求更直观、丰富的数据展示形式与更便捷、高效的数据处理工具。因此,通过减少人为干预,自动化解析、编排异构的服务数据,使数据自动可视化,具有重要的现实意义。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0004] 知识图谱由Google公司于2012年6月正式提出,是一种基于图的数据结构。知识图谱是一种结构化的语义知识库,以图的形式来展现现实世界中各个实体及其相互之间的关系,并用形式化的方式来进行描述。知识图谱的基本组成单元的通用表示形式是实体、“实体‑关系‑实体”三元组,以及实体的“属性‑值”对。知识图谱以“实体‑关系‑实体”或“实体‑属性‑属性值”的三元组表达形式存储,这些数据将构成可观的实体关系网络,即知识的“图谱”。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0005] 目前,虽然已经存在一些面向REST服务的数据可视化建模方法,但这些方法的数据自动可视化效率较低,或者自动化生成的可视化图形存在大量的冗余图形,不利于用户理解与分析。知识图谱拥有高效的信息检索能力,强大的语义关系构建能力以及可视化呈现能力,将知识图谱与数据可视化相结合能更有效找出隐藏在数据背后的规律。\u003C\u002Fdiv\u003E\u003Ch3 class=\"sub-head\"\u003E发明内容\u003C\u002Fh3\u003E\u003Cdiv\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0006] 本发明提出了一种面向可视化需求的基于知识图谱的Web数据优化方法,对常见可视化图形分析归纳建模,将Web数据的结构与可视化模型的结构进行结构匹配,获得符合要求的候选坐标轴\u002F图例的属性组合。利用网络语料构建知识图谱,并通过查询知识图谱获取该属性组合是否存在语义关联,来进一步优化Web数据的可视化工作,提升有效图形生成的概率。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0007] 为了实现上述发明,采用的技术方案如下:\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0008] 一种面向可视化需求的基于知识图谱的Web数据优化方法,所述方法包括以下步骤:\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0009] 第一步、目标领域语料库的构建:把网络语料内容作为构建知识图谱的基础,使用网络语料词条信息作为原始语料内容,为构建知识图谱而对原始网络语料内容进行筛选,比较分析网络词条的网页内容,原始语料内容中除了标题和正文信息外,还包含了HTML标签,词条本身的编辑信息,网页链接信息等与词条本身无关的冗余信息,对网络词条的内容进行过滤清洗,抽取标题与有效的正文内容。过滤内容包括:对词条的网页内容执行HTML标签\u002F文本样式符号过滤、词条模板符号及非英文字符过滤、词条编辑信息过滤、图片信息过滤、链接信息过滤、页面专有标题属性名过滤以及数值过滤;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0010] 第二步、面向语料库的实体抽取:知识图谱是由实体与关系构成图结构的数据信息网,以“实体‑关系‑实体”的三元组来表示知识图谱的基础结构,三元组中包括了两个有现实语义关系的实体和两个实体间的关系,用G=(head,relation,tail)的形式来表示,其中G表示三元组,head表示头实体,tail表示尾实体,relation表示头实体和尾实体间的关系;每个实体本身还包含了属性及属性值,将实体的属性也转化为与该实体相连的尾实体,并在两者间建立relation关系;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0011] 第三步:结合Word2vec,将语料库进行二次预分组,使用k‑means聚类算法构建知识图谱:三元组G的结构为(head,relation,tail),随着head和tail的不同,relation也有多种关系,relation实际上是知识图谱中的关系集合,用以表示多种实体间的复杂联系,其目的在于判断两个属性间是否存在语义关联,即两个实体间是否存在关系,而不关注存在何种关系,通过计算语料库词汇的词向量,将语料库进行二次分组,使用k‑means聚类算法来抽取实体关系;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0012] 第四步、构建可视化模型树(VisualModel Tree,简称VT):对各种可视化图形进行分类,归纳总结各类图形的属性和结构特征,通过创建一种可视化模型树(VT),来形式化地表达各类图形信息;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0013] 第五步、基于网络语料知识图谱的数据可视化优化匹配方法:定义M‑JSON为REST Web服务返回的JSON的原型结构;将Web数据原型结构M‑JSON与可视化模型树VT中的每个StructModel依据数据结构进行匹配,返回的结果是符合条件的候选坐标轴\u002F图例的属性组合构成的集合;在结构匹配的基础上,利用第三步中构建的知识图谱,查询匹配出来的候选坐标轴\u002F图例的属性组合否存在实际语义关联,根据查询结果优化匹配,选取有效的维度组合,以提升自动化生成图形的精确率(Precision)。进一步,所述第二步中,实体抽取分为命名实体抽取、属性实体抽取及名词实体抽取三个阶段;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0014] 2.1、实体抽取:实体抽取又称为命名实体识别,是从文本数据集中自动识别出命名实体,这通常指的是人名、地名、机构名词以及其它所有名称为标识的实体。该流程可通过使用一些主流的命名实体识别系统来完成,其步骤包括:一、通过工具对语料库内容进行命名实体识别;二、将识别出的命名实体标注它的类型属性;三、根据类型属性对命名实体进行过滤,删除不合适的命名实体,保留其它命名实体的标注,同时将词条名称默认定义为命名实体;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0015] 2.2、属性实体抽取:以词条网络语料的信息框为属性的来源,从信息框中提取属性,然后在语料库中截取每个词条的信息框信息,按照信息框结构,提取属性名称,作为所属词条的名称所对应的命名实体的尾实体,不保留属性值,若某词条不存在信息框,则不必为该词条对应的命名实体创建尾实体;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0016] 2.3、名词实体抽取,包括四个步骤:单词拆分(Split)、词性标注(POS Tagging)、停用词过滤(Stop Word Filtering)和词干提取(Stemming),命名实体抽取步骤中已经标注了识别出的命名实体,因此接下来的操作仅对标注的实体外的语料内容进行抽取。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0017] 再进一步,所述2.3的过程如下:\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0018] 2.3.1、单词拆分:使用正则表达式设计拆分规则模式,根据空格、符号、段落对语料库内容进行单词拆分,获取单词文本;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0019] 2.3.2、词性标注:为获取语料库中的名词,首先需要对文本词汇进行词性标注,词性标注也被称为语法标注或词类消疑,是语料库语言学中将语料库内单词的词性按其含义和上下文内容进行标记的文本数据处理技术,许多单词可能同时含有多个词性,拥有多种意义,而其词性的选择取决于上下文意义,将已进行命名实体标注的语料库作为标注对象文本进行词性标注,根据标注结果查找出名词对象,并在语料库中剔除非名词对象,但不包括非名词的词条名称,此时语料库中保留的是每个词条中的命名实体、名词对象及原有标点,并且所有内容仍然保持原有文本顺序;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0020] 2.3.3、停用词过滤:停用词这一名称来源于Stop Word,指代在信息检索中为了节省存储空间和提高搜索效率,在处理自然语言文本时自动过滤掉的字或词,对于一个给定的目的,任何一类词语都可以被选作停用词,停用词包括两类:一类是人类语言中包含的功能词(Function Words),这类功能词使用非常普遍,出现频率极高,但又没有确切的实际含义;另一类为实词(Content Words),这里指一部分有实际具体意义但又无明确指代或指向的词;在自然语言处理中,已有了停用词表(Stop Word List),将停用词表作为参照字典,通过单词比对从语料库中删除停用词,进一步精简语料库内容,确保保留语料中无停用词;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0021] 2.3.4、词干提取:词干化提取是一种去除形态词缀得到对应词根的过程,是英语等西方语言特有的处理过程;同一个英文单词有单数和复数的变形、时态的变形、人称代词对应不同谓语的变形。这些词虽然形式上有一些细微差别,但是都对应着相同的词根,在计算相关性的情况下应该作为相同的词来进行处理,这时就需要进行词干化处理;波特词干算法(Porter Stemming Algorithm)是一种主流的词干提取算法,其核心理念是根据形态词缀的类型,对单词进行分类处理还原。除了部分特殊的变形,大多数的单词变形是有一定规律的,依照规律将形变分为6种类别。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0022] 再进一步,所述2.3.4中,词干的提取步骤如下:\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0023] 2.3.4.1、依照单词变形类别,针对每一种情况进行词缀去除与单词复原,获得语料库中名词对象的词干信息,以减少同词不同形的情况,6种不同单词变形如下:\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0024] 2.3.4.1.1、复数、以ed和ing结尾的单词;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0025] 2.3.4.1.2、单词中包含元音,并以y结尾的单词;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0026] 2.3.4.1.3、双后缀的单词;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0027] 2.3.4.1.4、以‑ic,‑ful,‑ness,‑ative等为后缀的单词;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0028] 2.3.4.1.5、\u003Cc\u003Evcvc\u003Cv\u003E情形下,‑ant,‑ence等后缀的单词(c为辅音,v为元音);\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0029] 2.3.4.1.6、\u003Cc\u003Evc\u003Cv\u003E元音辅音间有超过1对vc的情形下,以e结尾的单词;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0030] 2.3.4.2、将还原为词干的名词对象创建为名词实体,并在语料库中更新名词对象,用词干形式来表示。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0031] 所述第三步中,知识图谱的构建流程如下:\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0032] 3.1、使用Word2vec训练词向量:Word2vec是一种词向量工具,它将词表示成词的特征向量。使用Word2vec将词转换成数值形式,使用一个N维向量来表示。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0033] 3.2、将语料库进行两次预先分组:由于k‑means算法的分簇易受数据集本身分布情况影响,为保证核心概念,即目标领域的主要分类对象为聚类中心,不能直接使用k‑means聚类,要对语料库进行两次预先分组;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0034] 3.3、通过k‑means聚类算法对小语料集合自动查找聚类中心,进行分簇,同时构建三元组,步骤如下:\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0035] 3.3.1、根据小语料集合的大小决定k的大小,集合越大k值越大。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0036] 3.3.2、经过k‑means聚类计算得到的质心所对应的实体将与上一层分组时的质心所对应的实体构建三元组。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0037] 其中,步骤3.3.2中k‑means算法是一种无监督聚类算法,使用语料库经过Word2vec所训练出来的词向量来代表每一个词。将每个小语料集合作为数据集,使用k‑means聚类算法进行聚类计算。k‑means聚类的步骤如下:\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0038] 3.3.2.1、选取数据集中的k个对象作为初始中心,每个对象代表一个聚类中心;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0039] 3.3.2.2、词向量样本中的对象,根据它们与这些聚类中心的欧氏距离,将它们分到距离它们最近的聚类中心所对应的类;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0040] 3.3.2.3、更新聚类中心:将每个类别中所有对象所对应的均值作为该类别的聚类中心,计算目标函数的值;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0041] 3.3.2.4、判断聚类中心和目标函数的值是否发生改变,若不变,则输出结果,若改变,则返回3.3.2.2;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0042] 3.3.3、将新的分组作为数据集合,再次调用k‑means算法,重复步骤3.3.1~3.3.3,直至每个分组仅含有小于某个阈值Z的元素数量;\u003Cbr\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0043] 3.3.4、将每个分组中的数据点所对应的实体与当前质心所对应的实体构建三元组;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0044] 至此语料库中所有的实体都与其他实体建立了关系,它们对应构成的三元组相互组合,从而构成了知识图谱,由于自动聚类所查找出的簇心与分簇情况,有可能会产生相关性较弱的实体关系,因此知识图谱构建完成后需要人工校对筛查,去除相关性低的实体关联,以提高知识图谱的质量。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0045] 所述3.2的步骤如下:\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0046] 3.2.1、对语料库一次分组,步骤如下:\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0047] 3.2.1.1、将先前获取的目标领域标签的第一层子分类标签提取出来,目标领域标签形成核心实体,并生成第一层子分类标签集合Tag,其中共包含了n个子分类标签,每个标签都有一个对应的实体和词向量,并且这些实体都与核心实体相连,构成n个三元组;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0048] 3.2.1.2、将第一层子分类标签对象作为质心,计算语料库数据集中各个数据点到各个质心的欧式距离,然后根据就近原则,将数据点分配至每个质心所对应的类中,获得了以第一层子分类标签为质心的n个簇,即n个分组数据集,同时语料库也被分为了n个语料集合;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0049] 其中,步骤3.2.1.2中欧式距离(Euclidean Distance)是判断数据点所属类别的重要依据,假设有给定的样本 与 其中i,j=1,2,…,m,表示样本数,n表示特征数,欧式距离的计算方式为:\u003Cbr\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0050]\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0051] 3.2.2、结合TF‑IDF算法,对语料库二次分组,其步骤如下:\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0052] 3.2.2.1、通过计算TF‑IDF查找出每个语料集合中的关键词。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0053] 其中,步骤3.2.2中TF‑IDF算法是一种用于评估一个词对指定文档的重要性的数值统计方法,词频TF(Term Frequency)指给定词在给定文档中出现的频率,其计算公式为:\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0054]\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0055] nx,y指文档y中术语x出现的次数,∑knk,y指文档y中总的词汇数,逆向文档频率IDF(Inverse Document Frequency)是用于评估单词或术语提供的信息量,即该术语在整个文档中是否常见,其计算公式为:\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0056]\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0057] N指文档的总数,nx指出现术语x的文档数量,文本中每一个词条作为一个文档,最后共同计算TF与IDF的值,获得TF‑IDF的公式为:\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0058] TF‑IDFx,y=TFx,y×IDFx\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0059] 3.2.2.2、对每个语料集合的关键词进行人工筛选,去除与当前语料集合的核心实体相关性低的关键词,保留相关性最高的部分关键词,保留关键词数量与提取出的所有关键词的整体质量相关;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0060] 3.2.2.3、将每个语料集合中提取出的并通过筛选的关键词所对应的实体与当前语料集合的核心实体构建三元组,以这些关键词为每个语料集合中的质心,再进行一次集合中的数据点到各个质心的欧氏距离计算,并对数据点进行分类,原语料库此时已经被划分为多个小语料集合。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0061] 所述第四步的步骤如下:\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0062] 4.1、定义VT包括基础属性(BASICATTRIBUTE)和可视结构(DVSCHEMA)两个部分,形式化定义如(1),其中BASICATTRIBUTE保存了图形标题、副标题及其他文本样式的通用信息;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0063] (1)、VT::=\u003CBASICATTRIBUTE\u003E\u003CDVSCHEMA\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0064] 4.2、BASICATTRIBUTE包括三个属性:标题(title)、子标题(subtitle)、属性(attributes),形式化定义如(2),title用于保存最终生成的可视化图形的标题,subtitle用于保存最终生成的可视化图形的子标题,attributes用于保存最终生成的可视化图形的位置、颜色组合、字体、字号设置参数;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0065] (2)、BASICATTRIBUTE::=\u003Ctitle\u003E\u003Csubtitle\u003E\u003Cattributes\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0066] 4.3、BASICATTRIBUTE根据图形所需的数据类型、图形数据结构、图形维度将常见的可视化图形归纳为四种基础类别:一般图形(General)、拓扑图(Topology)、地图(Map)、文本图形(Text),形式化定义如(3);\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0067] (3)、DVSCHEMA::=\u003CGeneral\u003E\u003CTopology\u003E\u003CMap\u003E\u003CText\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0068] 4.4、步骤4.3中的四种基础类别下属均分别包含两个属性:图形类型(VType)和图形结构(StructModel),VType保存了该类别所属图形种类,StructModel保存了该类别所属图形的基本可视化结构,形式化定义如(4),“A::B”表示“A包含了属性B”;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0069] (4)、DVSCHEMA::=\u003CGeneral\u003E\u003CTopology\u003E\u003CMap\u003E\u003CText\u003E::\u003CVType\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0070] \u003CStructModel\u003E。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0071] 所述4.4中,四种基础类别的VType属性的所属图形如下:\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0072] 4.4.1、General包括柱状图(BarChart)、折线图(LineChart)、饼图(PieChart)、雷达图(RadarChart)、散点图(ScatterChart);\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0073] 4.4.2、Topology包括网络图(NetworkChart)、树图(TreeMap)、面积树图(TreeMapChart);\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0074] 4.4.3、Map包括地区地图(AreaMapChart)、国家地图(CountryMapChart)、世界地图(WorldMapChart);\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0075] 4.4.4、Text包括词云(WorldCloudChart);\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0076] 4.5、步骤4.4中四种基础类别均有各自的映射关系(Mapping),描述了各类图形的数据结构、数据维度、图形结构关系、数据映射位置信息;根据Mapping信息并结合图形的数据结构,可以抽象出各类图形的基本可视化结构StructModel。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0077] 所述4.5中,各类图形的映射关系Mapping及基本可视化结构StructModel定义如下:\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0078] 4.5.1、General类型中的图形通常用于表示二维数据或三维数据,可用二元组(XAxis,YAxis)或三元组(XAxis,YAxis,ZAxis)来表示信息,此类图形的Mapping结构如(5),其中LegendName表示图例名称,以ARRAY类型来存储各分组信息;根据Mapping结构可抽象出基础StructModel的结构如(6),StructModel的子节点为临时根节点Root,Root包含两个子节点:键值对K_V与图例节点LegendNode;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0079] (5)、Mapping::=\u003CXAxis,YAxis,[ZAxis]\u003E\u003CLegendName\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0080] (6)、StructModel::=\u003CRoot::\u003CK_V\u003E\u003CLegendNode\u003E\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0081] 4.5.2、Topology类型中的图形通常用于表示拓扑关系数据,树图与面积树图可用嵌套的键值对{key:value,children:{key:value}}来表示属性结构,Mapping结构如(7);网络图可用节点集合(Nodes)和边集合(Links)来表示图结构,Mapping结构如(8),其中source表示一条边link的起始节点,target表示该条边link的指向节点;根据Mapping结构可抽象出基础StructModel的结构如(9),StructModel有两个子结构,Root1和Root2分别为两个子结构的临时根节点,Root1包含两个子节点:键值对K_V和孩子节点children,children的子结构为键值对K_V;Root2包含两个子节点:节点集合Nodes和边集合Links,节点集合的子节点为关键字key和值value,其中value可以为空,边集合的子节点为起点source和目标target;\u003Cbr\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0082] (7)、Mapping::=\u003CK_V\u003E\u003Cchildren::\u003CK_V\u003E\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0083] (8)、Mapping::=\u003CNodes::\u003Ckey,[value]\u003E\u003CLinks::\u003Csource\u003E\u003Ctarget\u003E\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0084] (9)、StructModel::=\u003CRoot1::\u003CK_V\u003E\u003Cchildren::\u003CK_V\u003E\u003E\u003E\u003CRoot2::\u003CNodes::\u003Ckey,[value]\u003E,\u003CLinks::\u003Csource\u003E\u003Ctarget\u003E\u003E\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0085] 4.5.3、Map类型中的图形通常用于表示地图信息,用键值对数组[{PlaceName:value}]或三元组数组[{lng,lat,value}]来表示地图信息,此类图形的Mapping结构如(10),其中PlaceName表示地名,lng表示纬度,lat表示经度;根据Mapping结构可抽象出基础StructModel的结构如(11),StructModel有两个子结构,Root1和Root2分别为两个子结构的临时根节点,Root1包含子子节点键值对K_V;Root2包含了三个子节点:经度lat,纬度lng,数值value;\u003Cbr\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0086] (10)、Mapping::=\u003CData1::\u003CPlaceName\u003E\u003Cvalue\u003E\u003E\u003CData2::\u003Clng\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0087] \u003Clat\u003E\u003Cvalue\u003E\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0088] (11)、StructModel::=\u003CRoot1::\u003CK_V\u003E\u003E,\u003CRoot2::\u003Clng\u003E,\u003Clat\u003E,\u003Cvalue\u003E\u003E[0089] 4.5.4、Text类型中的图形常用二元组(Keyword,frequency)来表示关键字频率,此类图形的Mapping结构如(12),其中Keyword为文本中提取出的词汇,frequency表示该词汇在文本中的出现频率;根据Mapping结构可抽象出基础StructModel的结构如(13),StructModel的子节点为临时根节点Root,Root包含了键值对K_V;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0090] (12)、Mapping::=\u003CKeyword\u003E\u003Cfrequency\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0091] (13)、StructModel::=\u003CRoot::\u003CK_V\u003E\u003E。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0092] 所述第五步的步骤如下:\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0093] 5.1、将Web数据原型结构M‑JSON与可视化模型树VT的StructModel依据数据结构进行匹配,M‑JSON中匹配出m个符合条件的候选坐标轴\u002F图例的属性组合结果,其中每个组合结果表示为一个含键值对L和一个属性名A组成的二元组。其中L和A分别与步骤4.5.1中的LegendNode和K_V对应;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0094] 5.2、结合构建的网络语料知识图谱对m个符合条件的属性组合进行匹配优化,过程如下:\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0095] 5.2.1、步骤5.1中每个匹配结果以二元组的形式来表示:P=(L::nameA::name),将每个匹配结果Pi=(Li::name,Ai::name),转化为三元组形式Gi=(Li::name,R,Ai::name)放入集合S={G1,G2,...,Gm};\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0096] 5.2.2、依次将集合S里Gi的三个参数与知识图谱的三元组结构进行如下映射F(Li::name→head,R→relation,Ai::name→tail)映射成三元组(head,relation,tail),在构建语料知识图谱中匹配是否存在当前三元组(head,relation,tail),result为匹配结果为True或False,分别表示为1和0。首先在语料知识图谱中匹配头实体节点head和尾实体节点tail,然后匹配头实体节点和尾实体节点之间的关系relation,当且仅当头实体head,尾实体tail及关系relation都匹配成功,result为1;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0097] 5.2.3、集合S中的对象查询完成后,返回集合Q={(Gi,resulti)},并将Q用于判断当前符合条件的二元组是否存在语义关联,作为候选坐标轴\u002F图例的属性组合匹配结果的判定,因此,只有结构匹配并且resulti为1时,才判定匹配成功。由此提高数据属性匹配的准确率,减少无实际意义图像的生成率。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0098] 本发明的有益效果主要表现在:在Web数据可视化生成图形时,可以通过本方法利用网络语料数据构建一个网络语料知识图谱,对常见可视化图形进行分析归纳建模,优化Web数据原型结构与常用的可视化图形模型匹配过程,减少了冗余图形生成,提高了有效图形的生成率。同时,在数据自动可视化过程中减少人工参与筛选图形的工作,简化了Web数据可视化流程。\u003C\u002Fdiv\u003E\u003Ch3 class=\"sub-head\"\u003E附图说明\u003C\u002Fh3\u003E\u003Cdiv\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0099] 图1示出了基于k‑means算法的知识图谱构建流程图。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0100] 图2示出了可视模型树VT的结构图。\u003C\u002Fdiv\u003E\u003Ch3 class=\"sub-head\"\u003E具体实施方式\u003C\u002Fh3\u003E\u003Cdiv\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0101] 下面结合附图对本发明作进一步描述。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0102] 参照图1和图2,一种面向可视化需求的基于知识图谱的Web数据优化方法,包括以下步骤:\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0103] 第一步、目标领域语料库的构建:以网络语料(例如维基百科Wikipedia)的语料内容作为构建知识图谱的基础,提升领域语料库内容的文本质量及内容的全面性,使用网络语料词条信息作为原始语料内容,为构建知识图谱对原始网络语料内容进行筛选,分析词条的网页内容,发现语料内容中除了标题和正文信息外,还包含了HTML标签,词条本身的编辑信息,网页链接信息等与词条本身无关的冗余信息,对目标词条语料进行过滤清洗,抽取标题与有效的正文内容。过滤内容包括:对目标词条的网页内容执行HTML标签\u002F文本样式符号过滤(例如删除\u003Ch1\u003Etext\u003C\u002Fh1\u003E,\u003Cp\u003Etext\u003Cp\u003E,\u003Cdiv\u003Etext\u003C\u002Fdiv\u003E等HTML标签,并且保留text文本;删除span{font‑color:#effefe;}等样式符号),词条编辑信息过滤(例如删除[edit]标签),图片信息过滤(例如删除\u003Cimg src=’…’\u002F\u003E图片标签),链接信息过滤(例如删除\u003Ca href=\"…\"title=\"..\"\u003Etext\u003C\u002Fa\u003E超链接标签\u003Ca\u003E,并保留文本信息),页面专有标题\u002F属性名过滤(例如删除Further reading,External links等专有标题和属性名)及数值过滤(例如删除20,30等数值);\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0104] 例如,利用维基百科(Wikipedia)网络语料库,通过爬虫获取维基百科竞技体育(Athletic sports)网页内容,过滤筛选后获取得包含竞技体育(Athletic sports)及其子分类的词条语料内容;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0105] 第二步、面向语料库的实体抽取:知识图谱是由实体与关系构成图结构的数据信息网,以“实体‑关系‑实体”的三元组来表示知识图谱的基础结构,三元组中包括了两个有现实语义关系的实体和两个实体间的关系,用G=(head,relation,tail)的形式来表示,其中G表示三元组,head表示头实体,tail表示尾实体,relation表示头实体和尾实体间的关系,每个实体本身还包含了属性及属性值,将实体的属性也转化为与该实体相连的尾实体,并在两者间建立relation关系,实体抽取分为命名实体抽取、属性实体抽取及名词实体抽取三个阶段;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0106] 2.1、实体抽取:实体抽取又称为命名实体识别,是从文本数据集中自动识别出命名实体,这通常指的是人名,地名,机构名词以及其它所有名称为标识的实体。该流程可通过使用一些主流的命名实体识别系统来完成,如Standford NER能够将文本中的实体按类标记出来,能够识别包括Time,Location,Person,Date,Organization,Money,Percent等七类属性,使用它作为工具对语料库内容进行命名实体识别,识别出的命名实体标注了它的类型属性,其主要流程为:一、通过工具对语料库内容进行命名实体识别;二、将识别出的命名实体标注它的类型属性;三、根据类型属性对命名实体进行过滤,删除不合适的命名实体,保留其它命名实体的标注,同时将词条名称默认定义为命名实体。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0107] 2.2、属性实体抽取:以词条网络语料的信息框为属性的来源,从信息框中提取属性,然后在语料库中截取每个词条的信息框信息,按照信息框结构,提取属性名称,作为所属词条的名称所对应的命名实体的尾实体,不保留属性值,若某词条不存在信息框,则不必为该词条对应的命名实体创建尾实体,以维基百科(Wikipedia)中词条“National Basketball Association(NBA)”的信息框(Info Box)为例,它以表格的形式构成,第1行第1列的内容为“Sport”,第1行第2列内容为“Basketball”,第2行第1列的内容为“Founded”,第2行第2列内容为“June 6,1946;73years ago”等,提取第一列内容“Sport”,“Founded”分别与词条“National Basketball Association(NBA)”构建三元组;\u003Cbr\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0108] 2.3、名词实体抽取,包括四个步骤:单词拆分(Split)、词性标注(POS Tagging)、停用词过滤(Stop Word Filtering)和词干提取(Stemming),命名实体抽取步骤中已经标注了识别出的命名实体,因此接下来的操作仅对标注的实体外的语料内容进行抽取;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0109] 2.3.1、单词拆分:使用正则表达式设计拆分规则模式,根据空格、符号、段落对语料库内容进行单词拆分,获取单词文本;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0110] 2.3.2、词性标注:为获取语料库中的名词,首先需要对文本词汇进行词性标注。词性标注也被称为语法标注或词类消疑,是语料库语言学中将语料库内单词的词性按其含义和上下文内容进行标记的文本数据处理技术,许多单词可能同时含有多个词性,拥有多种意义,而其词性的选择取决于上下文意义,将已进行命名实体标注的语料库作为标注对象文本进行词性标注,根据标注结果查找出名词对象,并在语料库中剔除非名词对象,但不包括非名词的词条名称,此时语料库中保留的是每个词条中的命名实体、名词对象及原有标点,并且所有内容仍然保持原有文本顺序;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0111] 2.3.3、停用词过滤:停用词这一名称来源于Stop Word,指代在信息检索中为了节省存储空间和提高搜索效率,在处理自然语言文本时自动过滤掉的字或词。对于一个给定的目的,任何一类词语都可以被选作停用词,在本发明中停用词主要包括两类:一类是人类语言中包含的功能词(Function Words),常为冠词、连词、副词或介词等,这类功能词使用非常普遍,出现频率极高,但又没有确切的实际含义,如a、an、the、which等等;另一类为实词(Content Words),这里指一部分有实际具体意义但又无明确指代或指向的词,如want、welcome、enough、consider、indeed等等。在自然语言处理中,已有了停用词表(Stop Word List),将停用词表作为参照字典,通过单词比对从语料库中删除停用词,进一步精简语料库内容,确保保留语料中无停用词;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0112] 2.3.4、词干提取:词干化提取是一种去除形态词缀得到对应词根的过程,是英语等西方语言特有的处理过程,同一个英文单词有单数和复数的变形(如apple和apples)、ing和ed等时态的变形(如doing和did)、人称代词对应不同谓语的变形(如like和likes)等等,这些词虽然形式上有一些细微差别,但是都对应着相同的词根,在计算相关性的情况下应该作为相同的词来进行处理,这时就需要进行词干化处理。波特词干算法(Porter Stemming Algorithm)是一种主流的词干提取算法,其核心理念是根据形态词缀的类型,对单词进行分类处理还原,除了部分特殊的变形,大多数的单词变形是有一定规律的,依照规律将形变分为6种类别,词干的提取步骤如下:\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0113] 2.3.4.1、依照单词变形类别,针对每一种情况进行词缀去除与单词复原,获得语料库中名词对象的词干信息,以减少同词不同形的情况。6种不同单词变形如下:\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0114] 2.3.4.1.1、复数、以ed和ing结尾的单词;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0115] 2.3.4.1.2、单词中包含元音,并以y结尾的单词;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0116] 2.3.4.1.3、双后缀的单词;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0117] 2.3.4.1.4、以‑ic,‑ful,‑ness,‑ative等为后缀的单词;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0118] 2.3.4.1.5、\u003Cc\u003Evcvc\u003Cv\u003E情形下,‑ant,‑ence等后缀的单词(c为辅音,v为元音);\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0119] 2.3.4.1.6、\u003Cc\u003Evc\u003Cv\u003E元音辅音间有超过1对vc的情形下,以e结尾的单词;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0120] 2.3.4.2、将还原为词干的名词对象创建为名词实体,并在语料库中更新名词对象,用词干形式来表示。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0121] 第三步:结合Word2vec,对语料库进行二次预分组,使用k‑means聚类算法构建知识图谱:三元组G的结构为(head,relation,tail),随着head和tail的不同,relation也有多种关系,relation实际上是知识图谱中的关系集合,用以表示多种实体间的复杂联系。其目的在于判断两个属性间是否存在语义关联,即两个实体间是否存在关系,而不关注存在何种关系。通过计算语料库词汇的词向量,将语料库进行二次分组,使用k‑means聚类算法来抽取实体关系。知识图谱的构建流程如下:\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0122] 3.1、使用Word2vec训练词向量:Word2vec是一种词向量工具,它将词表示成词的特征向量。使用Word2vec将词转换成数值形式,使用一个N维向量来表示。例如,使用Word2vec对获取竞技体育(Athletic sports)语料库内容进行词向量计算,将词向量的维度设为300维。词向量维度越高,词的特征表现就会越为丰富,但同时也会增加训练的时间成本和调用模型时的计算时间开销。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0123] 3.2、对语料库进行两次预先分组:由于k‑means算法的分簇易受数据集本身分布情况影响,为保证核心概念,即目标领域的主要分类对象为聚类中心,不能直接使用k‑means聚类,要对语料库进行两次预先分组,其步骤如下:\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0124] 3.2.1、对语料库一次分组,步骤如下:\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0125] 3.2.1.1、将先前获取的目标领域标签的第一层子分类标签提取出来,目标领域标签形成核心实体,并生成第一层子分类标签集合Tag,其中共包含了n个子分类标签,每个标签都有一个对应的实体和词向量,并且这些实体都与核心实体相连,构成n个三元组。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0126] 3.2.1.2、将第一层子分类标签对象作为质心,计算语料库数据集中各个数据点到各个质心的欧式距离,然后根据就近原则,将数据点分配至每个质心所对应的类中。获得了以第一层子分类标签为质心的n个簇,即n个分组数据集,同时语料库也被分为了n个语料集合。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0127] 其中,步骤3.2.1.2中欧式距离(Euclidean Distance)是判断数据点所属类别的重要依据,假设有给定的样本 与 其中i,j=1,2,…,m,表示样本数,n表示特征数,欧式距离的计算方式为:\u003Cbr\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0128]\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0129] 例如,首先对构建的竞技体育(Athletic sports)语料库实体数据集进行一次预分类,将先前爬取的竞技体育(Athletic sports)维基百科语料标签的第一层子分类标签提取出来,形成标签集合Tag={“Association football”,“Baseball”,“Basketball”,“Badminton”,“Beach soccer”,……},其中共包含了55个子分类标签,每个标签都有一个对应的实体和Word2vec训练出来的词向量,并且这些实体都与核心实体“Athletic sports”相连,构成55个三元组。再将这些标签对象作为质心,计算数据集中各个数据点到各个质心的欧式距离,然后根据就近原则,将数据点分配至每个质心所对应的类中。此时,获得了以赛事种类为质心的55个簇,即55个分组数据集,同时语料库也被分为了55个语料集合。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0130] 3.2.2、结合TF‑IDF算法,对语料库二次分组。其步骤如下:\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0131] 3.2.2.1、通过计算TF‑IDF查找出每个语料集合中的关键词。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0132] 其中,步骤3.2.2中TF‑IDF算法是一种用于评估一个词对指定文档的重要性的数值统计方法。词频TF(Term Frequency)指给定词在给定文档中出现的频率,其计算公式为:\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0133]\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0134] nx,y指文档y中术语x出现的次数,∑knk,y指文档y中总的词汇数。逆向文档频率IDF(Inverse Document Frequency)是用于评估单词或术语提供的信息量,即该术语在整个文档中是否常见,其计算公式为:\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0135]\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0136] N指文档的总数,nx指出现术语x的文档数量,文本中每一个词条作为一个文档。最后共同计算TF与IDF的值,获得TF‑IDT的公式为:\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0137] TF‑IDFx,y=TFx,y×IDFx\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0138] 3.2.2.2、对每个语料集合的关键词进行人工筛选,去除与当前语料集合的核心实体相关性低的关键词,保留相关性最高的部分关键词,保留关键词数量与提取出的所有关键词的整体质量相关。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0139] 3.2.2.3、将每个语料集合中提取出的并通过筛选的关键词所对应的实体与当前语料集合的核心实体构建三元组。以这些关键词为每个语料集合中的质心,再进行一次集合中的数据点到各个质心的欧氏距离计算,并对数据点进行分类。原语料库此时已经被划分为多个小语料集合。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0140] 例如,通过TF‑IDF计算查找出每个竞技体育(Athletic sports)语料集合中的关键词,例如Association football对应的语料集合中,有“football”“nation”“match”“team”“competition”,但也有些词汇虽然出现频繁但并无太大的相关性,如“list”“finals”“body”等。所以对于每个语料集合的关键词需要人工介入筛选,去除与当前语料集合的核心实体相关性低的关键词,保留相关性最高的部分关键词。将每个小语料集合中提取出的并通过筛选的关键词所对应的实体与当前语料集合的核心实体构建三元组。然后以这些关键词为每个语料集合中的质心,再进行一次集合中的数据点到各个质心的欧氏距离计算,并对数据点进行分类,划分成多个小语料集合。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0141] 3.3、通过k‑means聚类算法对小语料集合自动查找聚类中心,进行分簇,同时构建三元组,步骤如下:\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0142] 3.3.1、根据小语料集合的大小决定k的大小,集合越大k值越大。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0143] 3.3.2、经过k‑means聚类计算得到的质心所对应的实体将与上一层分组时的质心所对应的实体构建三元组。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0144] 其中,步骤3.3.2中k‑means算法是一种无监督聚类算法,使用语料库经过Word2vec所训练出来的词向量来代表每一个词。将每个小语料集合作为数据集,使用k‑means聚类算法进行聚类计算。k‑means聚类的步骤如下:\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0145] 3.3.2.1、选取数据集中的k个对象作为初始中心,每个对象代表一个聚类中心;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0146] 3.3.2.2、词向量样本中的对象,根据它们与这些聚类中心的欧氏距离,将它们分到距离它们最近的聚类中心所对应的类;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0147] 3.3.2.3、更新聚类中心:将每个类别中所有对象所对应的均值作为该类别的聚类中心,计算目标函数的值;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0148] 3.3.2.4、判断聚类中心和目标函数的值是否发生改变,若不变,则输出结果,若改变,则返回3.3.2.2。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0149] 3.3.3、将新的分组作为数据集合,再次调用k‑means算法,重复步骤3.3.1~3.3.3,直至每个分组仅含有小于某个阈值Z的元素数量。\u003Cbr\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0150] 3.3.4、将每个分组中的数据点所对应的实体与当前质心所对应的实体构建三元组。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0151] 至此语料库中所有的实体都与其他实体建立了关系,它们对应构成的三元组相互组合,从而构成了知识图谱。由于自动聚类所查找出的簇心与分簇情况,有可能会产生相关性较弱的实体关系,因此知识图谱构建完成后需要人工校对筛查,去除相关性低的实体关联,以提高知识图谱的质量。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0152] 例如,原竞技体育(Athletic sports)语料库此时已经被划分为多个小语料集合,接下来通过k‑means聚类算法自动查找聚类中心,进行分簇,同时构建三元。指定k的大小由语料集合的大小决定,越大的集合k值越大。最后计算得到的质心所对应的实体将与上一层分组时的质心所对应的实体构建三元组。然后将新的分组作为数据集合,再次调用k‑means算法,重复上述操作,直至每个分组仅含有小于10个元素数量(此时阈值Z=10)。最终每个分组中的数据点所对应的实体与当前质心所对应的实体构建三元组。至此,竞技体育(Athletic sports)语料库中所有的实体都与其他实体建立了关系,它们对应构成的三元组相互组合,从而构成了知识图谱。但自动聚类所查找出的质心与分簇情况有时可能会产生相关性较弱的实体关联,因此最终还需要人工的校对筛查,去除相关性极低的实体关联。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0153] 第四步、参照图2,构建可视化模型树(VisualModel Tree,简称VT):对各种可视化图形进行分类,归纳总结各类图形的属性和结构特征,通过创建一种可视化模型树(VT),来形式化地表达各类图形信息,步骤如下:\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0154] 4.1、定义VT包括基础属性(BASICATTRIBUTE)和可视结构(DVSCHEMA)两个部分,形式化定义如(1),其中BASICATTRIBUTE保存了图形标题、副标题及其他文本样式的通用信息;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0155] (1)、VT::=\u003CBASICATTRIBUTE\u003E\u003CDVSCHEMA\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0156] 4.2、BASICATTRIBUTE包括三个属性:标题(title)、子标题(subtitle)、属性(attributes),形式化定义如(2),title用于保存最终生成的可视化图形的标题,subtitle用于保存最终生成的可视化图形的子标题,attributes用于保存最终生成的可视化图形的位置、颜色组合、字体、字号设置参数;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0157] (2)、BASICATTRIBUTE::=\u003Ctitle\u003E\u003Csubtitle\u003E\u003Cattributes\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0158] 4.3、BASICATTRIBUTE根据图形所需的数据类型、图形数据结构、图形维度将常见的可视化图形归纳为四种基础类别:一般图形(General)、拓扑图(Topology)、地图(Map)、文本图形(Text),形式化定义如(3);\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0159] (3)、DVSCHEMA::=\u003CGeneral\u003E\u003CTopology\u003E\u003CMap\u003E\u003CText\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0160] 4.4、步骤4.3中的四种基础类别下属均分别包含两个属性:图形类型(VType)和图形结构(StructModel),VType保存了该类别所属图形种类,StructModel保存了该类别所属图形的基本可视化结构,形式化定义如(4),“A::B”表示“A包含了属性B”;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0161] (4)、DVSCHEMA::=\u003CGeneral\u003E\u003CTopology\u003E\u003CMap\u003E\u003CText\u003E::\u003CVType\u003E\u003CStructModel\u003E[0162] 步骤4.4中,四种基础类别的VType属性的所属图形如下:\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0163] 4.4.1、General包括柱状图(BarChart)、折线图(LineChart)、饼图(PieChart)、雷达图(RadarChart)、散点图(ScatterChart);\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0164] 4.4.2、Topology包括网络图(NetworkChart)、树图(TreeMap)、面积树图(TreeMapChart);\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0165] 4.4.3、Map包括地区地图(AreaMapChart)、国家地图(CountryMapChart)、世界地图(WorldMapChart);\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0166] 4.4.4、Text包括词云(WorldCloudChart);\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0167] 4.5、步骤4.4中四种基础类别均有各自的映射关系(Mapping),描述了各类图形的数据结构、数据维度、图形结构关系、数据映射位置信息;根据Mapping信息并结合图形的数据结构,可以抽象出各类图形的基本可视化结构StructModel。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0168] 所述4.5中,各类图形的映射关系Mapping及基本可视化结构StructModel定义,步骤如下:\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0169] 4.5.1、General类型中的图形通常用于表示二维数据或三维数据,可用二元组(XAxis,YAxis)或三元组(XAxis,YAxis,ZAxis)来表示信息,此类图形的Mapping结构如(5),其中LegendName表示图例名称,以ARRAY类型来存储各分组信息;根据Mapping结构可抽象出基础StructModel的结构如(6),StructModel的子节点为临时根节点Root,Root包含两个子节点:键值对K_V与图例节点LegendNode;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0170] (5)、Mapping::=\u003CXAxis,YAxis,[ZAxis]\u003E\u003CLegendName\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0171] (6)、StructModel::=\u003CRoot::\u003CK_V\u003E\u003CLegendNode\u003E\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0172] 4.5.2、Topology类型中的图形通常用于表示拓扑关系数据,树图与面积树图可用嵌套的键值对{key:value,children:{key:value}}来表示属性结构,Mapping结构如(7);网络图可用节点集合(Nodes)和边集合(Links)来表示图结构,Mapping结构如(8),其中source表示一条边link的起始节点,target表示该条边link的指向节点;根据Mapping结构可抽象出基础StructModel的结构如(9),StructModel有两个子结构,Root1和Root2分别为两个子结构的临时根节点,Root1包含两个子节点:键值对K_V和孩子节点children,children的子结构为键值对K_V;Root2包含两个子节点:节点集合Nodes和边集合Links,节点集合的子节点为关键字key和值value,其中value可以为空,边集合的子节点为起点source和目标target;\u003Cbr\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0173] (7)、Mapping::=\u003CK_V\u003E\u003Cchildren::\u003CK_V\u003E\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0174] (8)、Mapping::=\u003CNodes::\u003Ckey,[value]\u003E\u003CLinks::\u003Csource\u003E\u003Ctarget\u003E\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0175] (9)、StructModel::=\u003CRoot1::\u003CK_V\u003E\u003Cchildren::\u003CK_V\u003E\u003E\u003E\u003CRoot2::\u003CNodes::\u003Ckey,[value]\u003E,\u003CLinks::\u003Csource\u003E\u003Ctarget\u003E\u003E\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0176] 4.5.3、Map类型中的图形通常用于表示地图信息,用键值对数组[{PlaceName:value}]或三元组数组[{lng,lat,value}]来表示地图信息,此类图形的Mapping结构如(10),其中PlaceName表示地名,lng表示纬度,lat表示经度;根据Mapping结构可抽象出基础StructModel的结构如(11),StructModel有两个子结构,Root1和Root2分别为两个子结构的临时根节点,Root1包含子子节点键值对K_V;Root2包含了三个子节点:经度lat,纬度lng,数值value;\u003Cbr\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0177] (10)、Mapping::=\u003CData1::\u003CPlaceName\u003E\u003Cvalue\u003E\u003E\u003CData2::\u003Clng\u003E\u003Clat\u003E\u003Cvalue\u003E\u003E[0178] (11)、StructModel::=\u003CRoot1::\u003CK_V\u003E\u003E,\u003CRoot2::\u003Clng\u003E,\u003Clat\u003E,\u003Cvalue\u003E\u003E[0179] 4.5.4、Text类型中的图形常用二元组(Keyword,frequency)来表示关键字频率,此类图形的Mapping结构如(12),其中Keyword为文本中提取出的词汇,frequency表示该词汇在文本中的出现频率;根据Mapping结构可抽象出基础StructModel的结构如(13),StructModel的子节点为临时根节点Root,Root包含了键值对K_V;\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0180] (12)、Mapping::=\u003CKeyword\u003E\u003Cfrequency\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0181] (13)、StructModel::=\u003CRoot::\u003CK_V\u003E\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0182] 第五步、基于网络语料知识图谱的数据可视化优化匹配方法:定义M‑JSON为REST Web服务返回的JSON的原型结构;将Web数据原型结构M‑JSON与可视化模型树VT中的每个StructModel依据数据结构进行匹配,返回的结果是符合条件的候选坐标轴\u002F图例的属性组合构成的集合;在结构匹配的基础上,利用第三步中构建的知识图谱,查询匹配出来的候选坐标轴\u002F图例的属性组合否存在实际语义关联,根据查询结果优化匹配,选取有效的维度组合,以提升自动化生成图形的精确率(Precision),步骤如下:\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0183] 5.1、将Web数据原型结构M‑JSON与可视化模型树VT的StructModel依据数据结构进行匹配,M‑JSON中匹配出m个符合条件的候选坐标轴\u002F图例的属性组合结果,每个组合结果表示为一个含键值对L和一个属性名A组成的二元组,其中L和A分别与步骤4.5.1中的LegendNode和K_V对应。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0184] 5.2、结合构建的网络语料知识图谱对m个符合条件的属性组合进行匹配优化,过程如下:\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0185] 5.2.1、步骤5.1中每个匹配结果以二元组的形式来表示:P=(L::name,A::name)。将每个匹配结果Pi= (Li::name,Ai::name),转化为三元组形式Gi=(Li::name,R,Ai::\u003Cbr\u003Ename)放入集合S={G1,G2,...,Gm}。\u003Cbr\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0186] 5.2.2、依次将集合S里Gi的三个参数与知识图谱的三元组结构进行如下映射F(Li::name→head,R→relation,Ai::name→tail)映射成三元组(head,relation,tail)。在构建语料知识图谱中匹配是否存在当前三元组(head,relation,tail),result为匹配结果为True或False,分别表示为1和0。首先在语料知识图谱中匹配头实体节点head和尾实体节点tail,然后匹配头实体节点和尾实体节点之间的关系relation。当且仅当头实体head,尾实体tail及关系relation都匹配成功,result为1;否则,result为0。\u003C\u002Fdiv\u003E\u003Cdiv class=\"sub-text\"\u003E[0187] 5.2.3、集合S中的对象查询完成后,返回集合Q={(Gi,resulti)},并将Q用于判断当前符合条件的二元组是否存在语义关联,作为候选坐标轴\u002F图例的属性组合匹配结果的判定。因此,只有结构匹配并且resulti为1时,才判定匹配成功。由此提高数据属性匹配的准确率,减少无实际意义图像的生成率。\u003C\u002Fdiv\u003E",importantProductList:m},recommentList1:m}],fetch:{},error:n,state:{sUrl:"https:\u002F\u002Fwww.iprtt.com\u002Fapi\u002F",sUrlNB:"https:\u002F\u002Fwww.iprtt.com\u002Fnb\u002F",url:"https:\u002F\u002Fwww.iprtt.com\u002F",ryToken:a,uuid:a,nickName:a,imShow:b,counter:e,appkey:"tdrvipkstyst5",token:a,flag:a,once:b,init:b,connect:b,imgUrl:a,people:{},mini:f,isLoggedIn:f,loadingCount:e,isNew:b,freshen:b,poolMsg:[],signIn:"1",mCharge:b,memberPrice:e,searchKey:a,isSearch:b,searchKey1:a,isSearch1:b,searchKey2:a,isSearch2:b,searchKey3:a,isSearch3:b,headerKey:a,selBtn:"sell",channel:a,domain:{},mpath:[f,b,b,b],sellFilter:{},user:{user:{},connectCode:a,token:a,roleRight:a},common:{},order:{userInfo:{},patentInfo:{},firstAddr:{},addressList:[],generalPoint:a,vatPoint:a,invoiceList:[],normalList:[],specialList:[]},home:{countInfo:{},elitePtentList:[],questionList:[],sellList:[],purchaseList:[]},product:{userInfo:{},productCount:a,demandCount:a,info:{},price:a,recommentList:[],recommentList1:[],productInfo:{}},purchase:{recommentList:[],domainList:[],data:[]},online:{recommentList:[],domainList:[],patentList:[]},operation:{resList:[],information:{},domainList:[],patentList:[],data:[],userList:[],total:a},operation1:{resList:[],information:{},domainList:[]},payment:{},authentication:{},wallet:{},patentCollect:{},patentProduct:{},patentDemand:{},patentOrder:{},myPurchase:{},fee:{},article:{},newManage:{},contact:{},member:{},colleage:{},tech:{token:a}},serverRendered:f,routePath:"\u002Fsell\u002Fdetail\u002F2019112548147",config:{_app:{basePath:"\u002F",assetsPath:"\u002F_nuxt\u002F",cdnURL:n}}}}("",false,1,2,0,true,"已认证","platform",60,"pass","406907832570944","http:\u002F\u002Fimg.iprdb.cn\u002Fiprtt\u002Fuser\u002Fheadwx\u002Ffemale.jpg",Array(4),null));</script><script src="/_nuxt/6469a8e.js" defer></script><script src="/_nuxt/1c85f8a.js" defer></script><script src="/_nuxt/5572444.js" defer></script><script src="/_nuxt/7ee9305.js" defer></script><script src="/_nuxt/25eedca.js" defer></script><script src="/_nuxt/85e2a2e.js" defer></script> </body> </html>