互联网已成为全球最大的知识资源库,然而要从互联网上获取有用的知识却非常困难。本文提出一种基于互联网的词汇语义知识库构建框架,分为三个大模块:网页文本自动获取、知识获取和知识应用。该框架能实现在线获取海量网页文本,提取中文组合词并对其进行词标注,获取同义词集和词间语义关系,进而实现语义计算。词汇语义知识库的构建将为大量的知识应用提供基础。
1 0
计
算
机
与
现
代
化
21第 l 0 0年 O期
断地扩充,丰富知识库。 3 3 1词汇获取 ..
IT L S C C A S已完成这部分工作,而对组合词而言,然它
是由多个词或多个语素组成,合词的各个组成部分组 的词性可能是一致的,可能是不一样的,时应该也这
词汇是构成知识库的基础,获取到丰富词汇,要 需要提供海量的文本,而且这些文本必须包括各行各
如何去标注其词性呢?组合词词性的正确标注将影响词问语义关系的获取和语义计算。在分析组合词的构词规则,及其各成分的词性,结合上下文情况,并 本文提出一种基于构词规则与上下文的组合词词性标注的模型,解决组合词词性标注问题。这里没有采用通用的词性标记符号,而是专门定义了一套组合词
业的知识,同时这些文本还需要不断地增加,以期获 得最新知识。海量网页文本获取能很好地满足这方面的需求,为词汇知识的获取提供源源不断的文本。 3 3 2组合词获取 ..
在被当前的分词系统收录之前,合词会被切分组 成多个
语素或词,而且汉语分词至今仍未形成一个公
词性标注符号规则: 假定一个组合词最后一个词的词性是 x构成这,个组合词的词数是 m,这个组合词的词性标记为则 “
认的分词标准,同的分词系统对同一组合词切分标不 注的结果不尽相同,致不能正确识别并获取这些组导
合词。文献[-0提出了基于语料库、于统计和规 81]基则的新词及未登录词的识别算法。关于组合词的获 取,已实现了基于词序列频率有向网组合词的获取现
xcw m” ,
其意义:这是一个由 m个词组成的具有 X词
性性质的组合词。 3 3 4词汇语义关系获取 ..
算法,该算法借鉴人类对新词汇的认知心理模式,而 且分词系统的分词错误不会对该算法造成影响,因此
当前计算机领域表示语义关系的方法主要有两类,一是基于同现统计的方法获得的关系,种关系这 所能表达的语义信息很少,只表明某两个词之间存在
获取精度较高。 该算法的基本思想如下: 基于如下假设,个词序列 (子中无间隔的 n一句
(≥2个词的有序序列) 1 ) 1是一个组合词,如果它满足 如下两个条件: ( ) 1这个词序列在一个文本中多次出现; 1C:
关系,而具体什么类型的关系却不得而知;另一种带标记的语义关系,对上述关系表示方法的改进,是它不仅能表达词之间存在关系,而且能表达词之间存在 何种类型的关系, Mid e等。语义关系的获取如 nN t 已成为一大研究热点,目前主要的获取方法是基于统
( ) 2这个序列的前面或 ( )面加上其他词 2C:和后形成的新的序列出现的频率明显降低。 算法设计了一种描述一个文本中词序列频率的 有向网 (为词序列频率有向网) w ( w, w, 称 G: V E ) Vw
计的机器学习方法,文献[5提出了一种基于语言 1]学组合特征的语义关系获取算法,文献[6提出了 1] 种基于半结构化的语料库的语义关系自动抽取算 一
法。语义关系获取是构建语义知识库的一个重要工
的一个元素对应着文本的词汇集的一个元素。E w的 一
作,目前已实现了动词语义关系的获取,用一个动使词来描述两个词之
间的关系,“布斯出席加州名如乔人堂庆祝典礼”,取到一个三元组{布斯,获乔出席, 典礼}“,出席”词则表示了“布斯”“礼”一乔和典之 间的关系。下一步将研究语法语义关系的获取。 3 4知识应用 .
个元素对应着文本的词对集的一个元素,的头是边
词对的第一个词对应的顶点,的尾是词对的第二个边 词对应的顶点。有向边的权是一个集合,合的元素集是包含该有向边对应的词对的句子的编号。该组合
词提取算法是建立在这种有向网的之上的矩阵运算,
算法有效地解决了提取过程的可计算性和结果的合 理性问题。
语义知识库的构建为知识的应用提供了一个良好的平台,概括而言,主要有以下几个方面的应用。当前 3 4 1查询条件预处理 ..
3 3 3组合词词性标注 ..词性标注是自然语言处理的一个基本环节,即为
文本中的每一个词标注词性,当前词性标注的模型算 法主要有线性分离网络 ( ew r fLn a e aa N tok o ierS p r-
当人们使用搜索引擎去搜索想要获得的内容时, 搜索引擎往往返回一大堆与搜索无关的网页,要花需
t s标注模型【非监督方法获取参数的 H o ) r 1、 MM ( idnMakvM d1¨ H Hde ro oe)引、 MM和对数线性模型相
费大量的时间精力去甄选真正需要的内容,其原因在 于搜索引擎在对网页的处理采用“非语义”式。查方询条件预处理根据知识库中同义词集、词间语义关系
结合[等。中科院计算所、】 北大计算语言学研究所、 哈工大信息检索研究室等对这项工作做了深入的研究。对词库已存在的词来说,在本文使用的分词系统
的知识,对查询的条件进行预处理,决歧义性问题解和同义性问题,查询条件进行语义扩充,理后的对处

词汇语义知识库的研究现状与发展趋势_IT/计算机_...国语种 的体系简洁和内容翔实, 许多国 的研究与...与〔 〕 ” 计划、 依据 ” 计划以及在 网络语料...
基于互联网的词汇语义知识... 4页 免费 基于维基百科的语义知识库... 5页...从句法分析实际需求出发,我们设计了语义知识库的描述体系和组织结构。 语义知识库...
基于互联网的词汇语义知... 4页 免费 机器翻译中基于语法、语... 10页 ... 研究 构建 一个 汉语 框架 语义 知识 库( 简称 CN)具 体研 究 内容 ...
以此理论为基础进行英汉词汇语义对比研究,有利于全面揭示两种语言的词汇语义共性和差异。本文在 英语FrameNet和中国学者建立的汉语框架网络知识库(CFN)的基础上,探索...
现代汉语语义知识库用于句... 4页 10财富值 基于互联网的词汇语义知识... ...英双语 类 WordNet 的语义 知识表述框架 手工构建; 授权使 用 1 Douglas ...
像词汇语义网这样高层次的知识库是保障正确的语义解 释和语义关系的设置所必须的资源. 本文就多语种词汇语义网构建中的概念及其关系表示、 概念体系、 语种转换、...
汉语框架语义知识库概述 4页 4下载券 基于互联网的词汇语义知... 4页 免费...等: L ·45·2 面结合起来的研究工作( 即构建空间语义知识库) 还非常少见。...
上海理工大学 管理学院, 上 语义知识网络的结构分析...数据构建并绘制了一个大尺度的共 词网络,从词汇的...比如众多知识单元同属一个理论体系 ,也可以是基于 ...
基于维基百科的语义知识库及其构建方法研究_自然科学...( 维基百科所采用的架构软件) 中用于维基化的典型... 基于互联网的词汇语义知... 4页 免费喜欢此文档...
热门文档