于分离模型的中文关键词提取算法。该方法对于单独的关键单词提取和关键词串提取有较好效果,但对于关键词整体的提取效果不如传统的关键词提取算法。唐培丽等人
[9]
2009版分词结果进行修正,还原那些被切碎的组合词和新词。该算法能发现中文网页中最新、最热门的词或短语,使组合词(包括新词)的识别和提取有效性高达90.2%,这对后续关键词的提取至关重要。2.2
同义词现象和词形相同、词义不同现象的解决国外学者FURNAS等人
[11]
结合领域
背景,构建概念语义网络作为分词词典和知识库,用概念之提出一种基于语义理解间的联系和匹配取代传统的字面匹配,
的汉语文献主题词自动提取算法,提高了提取准确率。但是该实验表明,该方法只获得方法考虑语义方面的因素仍然不够,71.03%的提取准确率。
——本文试图从影响中文文本关键词提取准确率的难点—“切碎”关键词被分词系统问题入手,同时考虑同义词现象和一词多义现象,提出一种基于组合词提取和同义词集的中文网在研究人机互动时发现:在五
个相关应用领域当中,不同的两个人选择同一个词语表达同一个对象的概率小于0.20。即使是同一作者,使用不同词汇表“妇女解放”“女性解放”,如和达同一概念的现象也比比皆是,
“计算机”“电脑”。另外,和同一个词在不同的上下文中也可页关键词自动提取算法(Chinesewebpagekeywordsextractionalgorithmbasedoncombined-wordandsynset,CWKEACS)。实验表明,CWKEACS算法能有效提高中文网页关键词自动提取的准确率。
1相关概念
定义1
所谓组合词是这样的词:它客观上表达一个独
立、特定的语义,但却被分词系统错误地切分为多个词。
组合词的这个定义关注的不是一个词是否真的由多个词组成,而是关注它是否被分词系统错误地切分为多个词。因此这是一个建立在分词系统之上的定义。
例如,一般的分词系统会将词“机器学习”切分为“机器”和“学习”两个词,而这两个词单独使用根本无法表达“机器学习”这一含义,因此,“机器学习”是一个组合词。
需要说明的是,一个词即使客观上是由多个词组成的,如社会主义”,但是分词系统已经能够将它识别为一个词,那么它并不符合组合词的定义;如果一个由两个字组成的新词被分词系统错误地切分为两个词,则它也符合组合词的定义,如的哥(出租车司机)”。
定义2
若在同一个中文句子中,用词B取代词A,不改
变或者大致不改变语句的含义,则称A和B为同义词。
如在
《世卫组织称猪流感堪比SARS全球拉响严防警报》一文中,有语句“墨西哥和美国相继爆发猪流感疫情”,在这一语句中,“猪流感”和“猪流感疫情”可以互相取代而不改变该语句的含义,因而它们为同义词。
2
CWKEACS算法核心技术
2.1
中文组合词提取算法与中文分词修正
与中文文档相比,英文文档词与词之间存在天然的分隔
符,即空格符,而中文文档词与词之间不存在这样的分隔符。中文文档在抽取关键词之前,必须首先使用分词系统对文档进行分词,然后才能进行关键词的抽取操作,因此中文分词系统的分词质量将直接影响关键词抽取的结果。
现有分词系统因受所使用分词词典限制,无法识别大量由两个或两个以上的词组成的组合词,而组合词却在关键词中占有极高的比重。解决这一问题的办法是建立用户组合词词典。然而网页信息包罗万象,各个领域的名词术语不计其数,手工构建各个领域通用的组合词词典是极其不现实的。因此,本算法首先利用基于词序列频率有向网的中文组合词提取算法,对中国科学院计算技术研究所汉语词法分析系统
[10]
ICTCLAS
以表达不同的语义,即词形相同语义不同的现象。例如,“穿着”一词,在语句“她穿着得体,气质高雅”里面是名词,指的是衣着、装束;而在语句“他穿着女朋友送给他的T恤”里面则是动词“穿”与助词“着”的组合,而非一个词。如此巨大的词汇使用差异和语义差异必将严重影响以机械的词形匹配为基础的词频统计工作。因此,在词频统计之前,应合并同义词,将意义相同或相近的词视为一个,并将它们的词频相加;应区分词形相同语义不同的状况,从而避免因词形层面(代表意思的词)和语义层面(意思本身)的差别而导致的关键字提取的不准确。
为解决这一问题,本文利用同义词集挖掘算法,构建了一个同义词集库。一个同义词集是一个词汇的集合,并附带一个上下文集合。例如同义词集合{猪流感,猪流感疫情}和它们的上下文集合{爆发,发现,感染,预防,应对,症状,传播}。词汇集中的词汇在指定的上下文中才是同义或近义的。由于存在词形相同词义不同的情况,一个词汇可能出现在多个同义词集中,但它的词义是可区分的,在数据上表现为:如果一个词汇分属于两个同义词集A和B,则A、B附带的上下文集不能有交集。2.3
候选关键词综合加权评分
与非关键词相比,关键词除了词频因素以外,还有其他独特的属性和特征。
在词性方面,名词或者含有名词的组合词在关键词中的比例较大。刘佳宾等人
[12]
通过对从IEEE数据库得到的20万关
键词进行分析和统计发现,名词或含有名词的词组占了总关键词数目的85%;钱爱兵等人
[13]
通过对2006年度CSSCI关键词
库中的关键词的词性构成进行统计发现,名词及包含名词性成分的词语占整个一元关键词的比率为85.05%;在二元关键词中,名词性关键词占61.37%,含有名词性成分的关键词占32.35%,两者合计达到93.72%。因此,在本文的关键词综合评分公式中,赋予名词或者含有名词的组合词有较高的评分。
在词长方面,4~6个字的词成为关键词的概率高。钱爱兵等人
[13]
对2006年度CSSCI关键词库中关键词的词长进行
统计发现,
4字、5字和6字词分别占到关键词总数的39.71%、13.98%和24.72%,三者合计达到78.42%。因此,本文赋予4个字以上的词较高的评分。
在词的位置方面,一般而言,出现在主、副标题,首、尾段等位置的词,越有可能成为关键词。因此,对分布在这些位置的词,赋予较高的评分。
基于以上的分析,本文设计一个候选关键词综合评分公式如下:
““
基于同义词链的中文关键词提取算法_专业资料。针对传统中文关键词提取对语义和... 基于组合词和同义词集的... 16人阅读 4页 2.00 基于语义的中文文本...
基于组合词和同义词集的关... 4页 免费 基于语义的中文文本关键词... ...词,通过消歧算法和上下文得到候选词的词 概述 义,然后进行词合并、特征提取。...
一种基于同义词的中文关键词提取方法_数学_自然科学_专业资料。第l 2卷第 5期 201 3年1 O月 江南大学学报 (自然科学版) Journal of Jiangnan Uni...
基于语义的中文文本关键词提取算法_计算机软件及应用_IT/计算机_专业资料。为...但目前在基 于语义的关键词提取方法中,仅简单采用同义词和近义词匹 配 [3] ...
算法基础上,提出新的基于词频统计的关键词提取方法。...张颖颖 、索红光 等人分 别采用建立同义词链和基于...结果二元组,相同词语频数相 加,得到二元组 <wi, ...
基于语义词典和词汇链的关键词提取算法_物理_自然科学_专业资料。第4 l卷第 ...于语 义词典 和词 汇链 的关 键词提 取算 法 刘端 阳,王良芳 ( 浙江...
关键词1提供了文档内容的概要信息,它们被使用在很多数据挖掘的应用中。在目前的关键词提取算法中,我们发现词汇层面(代表意思的词)和概念层面(意思本身)的差别导致了...
基于语义的中文文本关键词提取算法_专业资料。为克服传统关键词提取算法局限于字面匹配、缺乏语义理解的缺点,提出一种基于语义的中文文本关键词提取(SKE)算法。将...
其值是独立义原相似度最大组合序列的加权平均值, ...组织成同义词集, 它把同义、 上下位等关系的词...何新贵 % [ 6] 在抽取关键词的算法中也对于出现...
热门文档