文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 自然科学 > 数学 > 基于组合词和同义词集的关键词提取算法
侵权投诉

基于组合词和同义词集的关键词提取算法

于分离模型的中文关键词提取算法。该方法对于单独的关键单词提取和关键词串提取有较好效果,但对于关键词整体的提取效果不如传统的关键词提取算法。唐培丽等人

[9]

2009版分词结果进行修正,还原那些被切碎的组合词和新词。该算法能发现中文网页中最新、最热门的词或短语,使组合词(包括新词)的识别和提取有效性高达90.2%,这对后续关键词的提取至关重要。2.2

同义词现象和词形相同、词义不同现象的解决国外学者FURNAS等人

[11]

结合领域

背景,构建概念语义网络作为分词词典和知识库,用概念之提出一种基于语义理解间的联系和匹配取代传统的字面匹配,

的汉语文献主题词自动提取算法,提高了提取准确率。但是该实验表明,该方法只获得方法考虑语义方面的因素仍然不够,71.03%的提取准确率。

——本文试图从影响中文文本关键词提取准确率的难点—“切碎”关键词被分词系统问题入手,同时考虑同义词现象和一词多义现象,提出一种基于组合词提取和同义词集的中文网在研究人机互动时发现:在五

个相关应用领域当中,不同的两个人选择同一个词语表达同一个对象的概率小于0.20。即使是同一作者,使用不同词汇表“妇女解放”“女性解放”,如和达同一概念的现象也比比皆是,

“计算机”“电脑”。另外,和同一个词在不同的上下文中也可页关键词自动提取算法(Chinesewebpagekeywordsextractionalgorithmbasedoncombined-wordandsynset,CWKEACS)。实验表明,CWKEACS算法能有效提高中文网页关键词自动提取的准确率。

1相关概念

定义1

所谓组合词是这样的词:它客观上表达一个独

立、特定的语义,但却被分词系统错误地切分为多个词。

组合词的这个定义关注的不是一个词是否真的由多个词组成,而是关注它是否被分词系统错误地切分为多个词。因此这是一个建立在分词系统之上的定义。

例如,一般的分词系统会将词“机器学习”切分为“机器”和“学习”两个词,而这两个词单独使用根本无法表达“机器学习”这一含义,因此,“机器学习”是一个组合词。

需要说明的是,一个词即使客观上是由多个词组成的,如社会主义”,但是分词系统已经能够将它识别为一个词,那么它并不符合组合词的定义;如果一个由两个字组成的新词被分词系统错误地切分为两个词,则它也符合组合词的定义,如的哥(出租车司机)”。

定义2

若在同一个中文句子中,用词B取代词A,不改

变或者大致不改变语句的含义,则称A和B为同义词。

如在

《世卫组织称猪流感堪比SARS全球拉响严防警报》一文中,有语句“墨西哥和美国相继爆发猪流感疫情”,在这一语句中,“猪流感”和“猪流感疫情”可以互相取代而不改变该语句的含义,因而它们为同义词。

2

CWKEACS算法核心技术

2.1

中文组合词提取算法与中文分词修正

与中文文档相比,英文文档词与词之间存在天然的分隔

符,即空格符,而中文文档词与词之间不存在这样的分隔符。中文文档在抽取关键词之前,必须首先使用分词系统对文档进行分词,然后才能进行关键词的抽取操作,因此中文分词系统的分词质量将直接影响关键词抽取的结果。

现有分词系统因受所使用分词词典限制,无法识别大量由两个或两个以上的词组成的组合词,而组合词却在关键词中占有极高的比重。解决这一问题的办法是建立用户组合词词典。然而网页信息包罗万象,各个领域的名词术语不计其数,手工构建各个领域通用的组合词词典是极其不现实的。因此,本算法首先利用基于词序列频率有向网的中文组合词提取算法,对中国科学院计算技术研究所汉语词法分析系统

[10]

ICTCLAS

以表达不同的语义,即词形相同语义不同的现象。例如,“穿着”一词,在语句“她穿着得体,气质高雅”里面是名词,指的是衣着、装束;而在语句“他穿着女朋友送给他的T恤”里面则是动词“穿”与助词“着”的组合,而非一个词。如此巨大的词汇使用差异和语义差异必将严重影响以机械的词形匹配为基础的词频统计工作。因此,在词频统计之前,应合并同义词,将意义相同或相近的词视为一个,并将它们的词频相加;应区分词形相同语义不同的状况,从而避免因词形层面(代表意思的词)和语义层面(意思本身)的差别而导致的关键字提取的不准确。

为解决这一问题,本文利用同义词集挖掘算法,构建了一个同义词集库。一个同义词集是一个词汇的集合,并附带一个上下文集合。例如同义词集合{猪流感,猪流感疫情}和它们的上下文集合{爆发,发现,感染,预防,应对,症状,传播}。词汇集中的词汇在指定的上下文中才是同义或近义的。由于存在词形相同词义不同的情况,一个词汇可能出现在多个同义词集中,但它的词义是可区分的,在数据上表现为:如果一个词汇分属于两个同义词集A和B,则A、B附带的上下文集不能有交集。2.3

候选关键词综合加权评分

与非关键词相比,关键词除了词频因素以外,还有其他独特的属性和特征。

在词性方面,名词或者含有名词的组合词在关键词中的比例较大。刘佳宾等人

[12]

通过对从IEEE数据库得到的20万关

键词进行分析和统计发现,名词或含有名词的词组占了总关键词数目的85%;钱爱兵等人

[13]

通过对2006年度CSSCI关键词

库中的关键词的词性构成进行统计发现,名词及包含名词性成分的词语占整个一元关键词的比率为85.05%;在二元关键词中,名词性关键词占61.37%,含有名词性成分的关键词占32.35%,两者合计达到93.72%。因此,在本文的关键词综合评分公式中,赋予名词或者含有名词的组合词有较高的评分。

在词长方面,4~6个字的词成为关键词的概率高。钱爱兵等人

[13]

对2006年度CSSCI关键词库中关键词的词长进行

统计发现,

4字、5字和6字词分别占到关键词总数的39.71%、13.98%和24.72%,三者合计达到78.42%。因此,本文赋予4个字以上的词较高的评分。

在词的位置方面,一般而言,出现在主、副标题,首、尾段等位置的词,越有可能成为关键词。因此,对分布在这些位置的词,赋予较高的评分。

基于以上的分析,本文设计一个候选关键词综合评分公式如下:

““

上一页第2页

你可能喜欢

  • 销售营销
  • 江苏省计算机二级考试
  • 足底按摩
  • 提取关键词
  • 特征选择

热门文档

相关文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email