文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 基于互联网的词汇语义知识库构建框架研究
侵权投诉

基于互联网的词汇语义知识库构建框架研究

互联网已成为全球最大的知识资源库,然而要从互联网上获取有用的知识却非常困难。本文提出一种基于互联网的词汇语义知识库构建框架,分为三个大模块:网页文本自动获取、知识获取和知识应用。该框架能实现在线获取海量网页文本,提取中文组合词并对其进行词标注,获取同义词集和词间语义关系,进而实现语义计算。词汇语义知识库的构建将为大量的知识应用提供基础。

21第 1 00年 0期

刘兴林等:于互联网的词汇语义知识库构建框架研究基

9

图在概念问建立不同的关系指针 ( e t nlP it R l i a on— ao es,达不同的语义关系。Mid e定义了 2 r)表 nN t 4种不同类型的语义关系的标记, n N t Mid e的研究者认为, 可以采用完全自动的方式来获取语言概念知识。 Mi N t n e中包含的语义信息的抽取,用了跟微软 d采

问题”词,一北京大学中文分词与词性标注系统将其切分标注为“ N民/ g族/ g问题/” N n。本文中将“超女”“、民族问题”等词称之为组合词。一般规定组合词的长度为 n 2≤n ) n是指某个组合词被分词 (≤5,

系统错误拆分词或语素的个数。

Wod9 r 7中用来做句法检查非常类似的广域句法分 析器 ( ra—oeaeP r r。这个句法分析器产 Bodcvrg as ) e生句法分析树以及更深的逻辑表达式 ( ep r o i l D ee g a L c Frs, om )应用规则产生相应的语义关系结构。H w o— Nt e由董振东、强等人建立,似于 Wod e,一董类 rN t是

3基于互联网的词汇语义知识库的构建 3 1已有的工作基础 .

现已实现了概念知识库系统,以及各种词汇知识获取算法。目前互联网海量自由文本已获取到了 2万多 l个文件,总数据量将近 1G在这些文本的基础上提取 8 B,到不重复的组合词共 10 18个, 667以及几百组概念词动词语义关系。而本项目将在概念知识系统的基础上进行扩展,深入挖掘,进而构建词汇语义知识库。 3 2海量网页文本获取 .

个以汉语和英语的词语所代表的概念为描述对象,以揭示概念与概念之间以及概念所具有的属性之问的关系为基本内容的常识知识库 J。北大计算语言所自2 0 0 0年 9月启动 C D(h hn s C ne tDc C te C iee o cp i — t n r, i ay即中文概念词典 )目, o项意在构造一个 Wod r- Nt e框架下的汉英双语语义知识库,直接为机器翻译

( )信息提取 (E)各项应用服务。曹存

根领导 MT、 I等的学术团队构建了基于 We b语料的概念获取系 统,进行了从文本中提取概念词,取词的上下位提关系,取词的整体与部分关系的研究。提

互联网上大量的知识以文本表现,互联网上的但网页并非单纯的正文文本,它包含了大量的 H ML标 T记符号以及其他非文本元素,图片、告、接等。如广链 海量网页文本获取需要将网页中的非文本元素过滤掉,取其中的正文文本,获取到的正文文本进行提将

2基于互联网的词汇语义知识库框架 建立知识库系统的最终目的就是以网络为基础

分类,将这些文本存储到网页文本数据库中。并 当前网页文本获取主是基于 H ML标记格式的 T

来实现一个巨大的、拟的、虚分布式的知识仓库,因为它能够利用散布在各处的所有知识来帮助使用者解 决问题。国内外十几个典型语义知识库, Mid e除 nN t 外其他的都是由手工方式构建。笔者所在实验室正 在进行的一个项目——基于互联网的词汇语义知识

提取算法¨而现已实现的基于语义内容的网页正 ,文提取算法,仿人类的认知模式,先建立一个网模首 页的主题词汇向量 d,;然后对网页正文中的所有段落

建立词汇向量 d,用文本聚类中常用的向量余弦系 i采 数的方法来计算两个词汇向量的相似度,算公式如计 式( )示。 1所 l I T .

库系统,它建立在分词系统之上,互联网的海量网从 页文本中获取知识。该系统主要包含海量网页文本

的获取、知识的获取和知识的应用三个大模块,统系框架示意图如图 1所示。 知识获取知识应用

t“× t t i .

Sr( id)=csd,j=— i d, e 0( jd)

=

() 1

√ t .t ×∑ k . 其中 d=<tl t t3…>和 d=<t1,tj2, i i 'i , I 2 j i ,,,

l词获 l厂 _、、 l询件处 汇取 、查条顶理1

fj聚 l主 l瞎司 f I组J I类矾攮查l合匠 最词 i词询关义性望系相标结捌计果划算的 蚓 1组台词获取 l 语义知识库

t3…>两个向量。T表示词集合。当计算出

的相 _,是 . 似度 Sm( id) i d,大于某一动态阈值时,将该段落文本

标记为选定文本,动态阈值计算公式如式 ( 该 2) 所示。 Th —

图 1基于互联网的词汇语义知识席框架示意图

本项目研究的主要内容是组合词,于组合词有关些文献称之为新词引、未登录词¨。本文将组合词定义为这样的词,客观上表达一个特定的语义 (它特定事物、动作、状态或属性 )但被分词系统错误地拆,

S N,)= - ( i m( n 4/ 4 g

)

() 2

其中自变量 N和 n分别代表 d和 d的维数。 j i 这种基于语义内容的网页文本获取方法不受网 页格式的影响,能有效地处理各种格式的网页,且实

分为多个词或多个语素。如“超女”“是超级女声”的 缩写,表达了一个具体的语义,一个词,词系统它是分 I T L S将其切分标注为“ a男/”又如“ CCA,快/ n;民族

验表明,该方法取得了较高的查准率和查全率。 3 3知识获取 .

当前知识获取主要包括以下几个方面,未来将不

基于互联网的词汇语义知识库构建框架研究

上一页第2页

你可能喜欢

热门文档

相关文档

  • 词汇语义知识库的研究现状与发展趋势

    词汇语义知识库的研究现状与发展趋势_IT/计算机_...国语种 的体系简洁和内容翔实, 许多国 的研究与...与〔 〕 ” 计划、 依据 ” 计划以及在 网络语料...

  • 基于二元组合文法的语义知识库构建

    基于互联网的词汇语义知识... 4页 免费 基于维基百科的语义知识库... 5页...从句法分析实际需求出发,我们设计了语义知识库的描述体系和组织结构。 语义知识库...

  • 汉语框架语义知识库概述

    基于互联网的词汇语义知... 4页 免费 机器翻译中基于语法、语... 10页 ... 研究 构建 一个 汉语 框架 语义 知识 库( 简称 CN)具 体研 究 内容 ...

  • 基于FrameNet的英汉词汇语义对比模式探索——以英汉情...

    以此理论为基础进行英汉词汇语义对比研究,有利于全面揭示两种语言的词汇语义共性和差异。本文在 英语FrameNet和中国学者建立的汉语框架网络知识库(CFN)的基础上,探索...

  • 0409_88_面向自然语言处理的大规模语义知识库研究述要_...

    现代汉语语义知识库用于句... 4页 10财富值 基于互联网的词汇语义知识... ...英双语 类 WordNet 的语义 知识表述框架 手工构建; 授权使 用 1 Douglas ...

  • 多语种词汇语义网建设中的几个问 ' 题

    像词汇语义网这样高层次的知识库是保障正确的语义解 释和语义关系的设置所必须的资源. 本文就多语种词汇语义网构建中的概念及其关系表示、 概念体系、 语种转换、...

  • 基于ALC的空间语义知识库

    汉语框架语义知识库概述 4页 4下载券 基于互联网的词汇语义知... 4页 免费...等: L ·45·2 面结合起来的研究工作( 即构建空间语义知识库) 还非常少见。...

  • 语义知识网络的结构分析与构建

    上海理工大学 管理学院, 上 语义知识网络的结构分析...数据构建并绘制了一个大尺度的共 词网络,从词汇的...比如众多知识单元同属一个理论体系 ,也可以是基于 ...

  • 基于维基百科的语义知识库及其构建方法研究

    基于维基百科的语义知识库及其构建方法研究_自然科学...( 维基百科所采用的架构软件) 中用于维基化的典型... 基于互联网的词汇语义知... 4页 免费喜欢此文档...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email