文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 基于互联网的词汇语义知识库构建框架研究
侵权投诉

基于互联网的词汇语义知识库构建框架研究

互联网已成为全球最大的知识资源库,然而要从互联网上获取有用的知识却非常困难。本文提出一种基于互联网的词汇语义知识库构建框架,分为三个大模块:网页文本自动获取、知识获取和知识应用。该框架能实现在线获取海量网页文本,提取中文组合词并对其进行词标注,获取同义词集和词间语义关系,进而实现语义计算。词汇语义知识库的构建将为大量的知识应用提供基础。

1 0

计

算

机

与

现

代

化

21第 l 0 0年 O期

断地扩充,丰富知识库。 3 3 1词汇获取 ..

IT L S C C A S已完成这部分工作,而对组合词而言,然它

是由多个词或多个语素组成,合词的各个组成部分组 的词性可能是一致的,可能是不一样的,时应该也这

词汇是构成知识库的基础,获取到丰富词汇,要 需要提供海量的文本,而且这些文本必须包括各行各

如何去标注其词性呢?组合词词性的正确标注将影响词问语义关系的获取和语义计算。在分析组合词的构词规则,及其各成分的词性,结合上下文情况,并 本文提出一种基于构词规则与上下文的组合词词性标注的模型,解决组合词词性标注问题。这里没有采用通用的词性标记符号,而是专门定义了一套组合词

业的知识,同时这些文本还需要不断地增加,以期获 得最新知识。海量网页文本获取能很好地满足这方面的需求,为词汇知识的获取提供源源不断的文本。 3 3 2组合词获取 ..

在被当前的分词系统收录之前,合词会被切分组 成多个

语素或词,而且汉语分词至今仍未形成一个公

词性标注符号规则: 假定一个组合词最后一个词的词性是 x构成这,个组合词的词数是 m,这个组合词的词性标记为则 “

认的分词标准,同的分词系统对同一组合词切分标不 注的结果不尽相同,致不能正确识别并获取这些组导

合词。文献[-0提出了基于语料库、于统计和规 81]基则的新词及未登录词的识别算法。关于组合词的获 取,已实现了基于词序列频率有向网组合词的获取现

xcw m” ,

其意义:这是一个由 m个词组成的具有 X词

性性质的组合词。 3 3 4词汇语义关系获取 ..

算法,该算法借鉴人类对新词汇的认知心理模式,而 且分词系统的分词错误不会对该算法造成影响,因此

当前计算机领域表示语义关系的方法主要有两类,一是基于同现统计的方法获得的关系,种关系这 所能表达的语义信息很少,只表明某两个词之间存在

获取精度较高。 该算法的基本思想如下: 基于如下假设,个词序列 (子中无间隔的 n一句

(≥2个词的有序序列) 1 ) 1是一个组合词,如果它满足 如下两个条件: ( ) 1这个词序列在一个文本中多次出现; 1C:

关系,而具体什么类型的关系却不得而知;另一种带标记的语义关系,对上述关系表示方法的改进,是它不仅能表达词之间存在关系,而且能表达词之间存在 何种类型的关系, Mid e等。语义关系的获取如 nN t 已成为一大研究热点,目前主要的获取方法是基于统

( ) 2这个序列的前面或 ( )面加上其他词 2C:和后形成的新的序列出现的频率明显降低。 算法设计了一种描述一个文本中词序列频率的 有向网 (为词序列频率有向网) w ( w, w, 称 G: V E ) Vw

计的机器学习方法,文献[5提出了一种基于语言 1]学组合特征的语义关系获取算法,文献[6提出了 1] 种基于半结构化的语料库的语义关系自动抽取算 一

法。语义关系获取是构建语义知识库的一个重要工

的一个元素对应着文本的词汇集的一个元素。E w的 一

作,目前已实现了动词语义关系的获取,用一个动使词来描述两个词之

间的关系,“布斯出席加州名如乔人堂庆祝典礼”,取到一个三元组{布斯,获乔出席, 典礼}“,出席”词则表示了“布斯”“礼”一乔和典之 间的关系。下一步将研究语法语义关系的获取。 3 4知识应用 .

个元素对应着文本的词对集的一个元素,的头是边

词对的第一个词对应的顶点,的尾是词对的第二个边 词对应的顶点。有向边的权是一个集合,合的元素集是包含该有向边对应的词对的句子的编号。该组合

词提取算法是建立在这种有向网的之上的矩阵运算,

算法有效地解决了提取过程的可计算性和结果的合 理性问题。

语义知识库的构建为知识的应用提供了一个良好的平台,概括而言,主要有以下几个方面的应用。当前 3 4 1查询条件预处理 ..

3 3 3组合词词性标注 ..词性标注是自然语言处理的一个基本环节,即为

文本中的每一个词标注词性,当前词性标注的模型算 法主要有线性分离网络 ( ew r fLn a e aa N tok o ierS p r-

当人们使用搜索引擎去搜索想要获得的内容时, 搜索引擎往往返回一大堆与搜索无关的网页,要花需

t s标注模型【非监督方法获取参数的 H o ) r 1、 MM ( idnMakvM d1¨ H Hde ro oe)引、 MM和对数线性模型相

费大量的时间精力去甄选真正需要的内容,其原因在 于搜索引擎在对网页的处理采用“非语义”式。查方询条件预处理根据知识库中同义词集、词间语义关系

结合[等。中科院计算所、】 北大计算语言学研究所、 哈工大信息检索研究室等对这项工作做了深入的研究。对词库已存在的词来说,在本文使用的分词系统

的知识,对查询的条件进行预处理,决歧义性问题解和同义性问题,查询条件进行语义扩充,理后的对处

基于互联网的词汇语义知识库构建框架研究

上一页第3页

你可能喜欢

热门文档

相关文档

  • 词汇语义知识库的研究现状与发展趋势

    词汇语义知识库的研究现状与发展趋势_IT/计算机_...国语种 的体系简洁和内容翔实, 许多国 的研究与...与〔 〕 ” 计划、 依据 ” 计划以及在 网络语料...

  • 基于二元组合文法的语义知识库构建

    基于互联网的词汇语义知识... 4页 免费 基于维基百科的语义知识库... 5页...从句法分析实际需求出发,我们设计了语义知识库的描述体系和组织结构。 语义知识库...

  • 汉语框架语义知识库概述

    基于互联网的词汇语义知... 4页 免费 机器翻译中基于语法、语... 10页 ... 研究 构建 一个 汉语 框架 语义 知识 库( 简称 CN)具 体研 究 内容 ...

  • 基于FrameNet的英汉词汇语义对比模式探索——以英汉情...

    以此理论为基础进行英汉词汇语义对比研究,有利于全面揭示两种语言的词汇语义共性和差异。本文在 英语FrameNet和中国学者建立的汉语框架网络知识库(CFN)的基础上,探索...

  • 0409_88_面向自然语言处理的大规模语义知识库研究述要_...

    现代汉语语义知识库用于句... 4页 10财富值 基于互联网的词汇语义知识... ...英双语 类 WordNet 的语义 知识表述框架 手工构建; 授权使 用 1 Douglas ...

  • 多语种词汇语义网建设中的几个问 ' 题

    像词汇语义网这样高层次的知识库是保障正确的语义解 释和语义关系的设置所必须的资源. 本文就多语种词汇语义网构建中的概念及其关系表示、 概念体系、 语种转换、...

  • 基于ALC的空间语义知识库

    汉语框架语义知识库概述 4页 4下载券 基于互联网的词汇语义知... 4页 免费...等: L ·45·2 面结合起来的研究工作( 即构建空间语义知识库) 还非常少见。...

  • 语义知识网络的结构分析与构建

    上海理工大学 管理学院, 上 语义知识网络的结构分析...数据构建并绘制了一个大尺度的共 词网络,从词汇的...比如众多知识单元同属一个理论体系 ,也可以是基于 ...

  • 基于维基百科的语义知识库及其构建方法研究

    基于维基百科的语义知识库及其构建方法研究_自然科学...( 维基百科所采用的架构软件) 中用于维基化的典型... 基于互联网的词汇语义知... 4页 免费喜欢此文档...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email