第27卷第8期2010年8月计算机应用研究
ApplicationResearchofComputersVol.27No.8Aug.2010
基于组合词和同义词集的关键词提取算法
蒋昌金,彭
摘
*
宏,陈建超,马千里,严桂夺
(华南理工大学计算机科学与工程学院,广州510640)
要:为了提高关键词的提取准确率,在对现有关键词抽取方法进行研究的基础之上,针对影响关键词提取
准确率的分词技术、同义词现象等难点,提出了一种基于组合词和同义词集的关键词提取算法。该算法首先利用组合词识别算法极大地改进分词效果,能识别网页上绝大多数的新词、未登录词,为提高关键词自动抽取准确合并同义词的词频,避免了同义词在输出结果中同现;利用综率奠定了坚实的基础;同时利用构造的同义词集,
合评分公式,充分考虑候选关键词的位置、长度、词性等特性。实验数据表明,该方法有较高的提取准确率。关键词:组合词;同义词集;中文网页;关键词提取中图分类号:TP391.1
文献标志码:A
文章编号:1001-3695(2010)08-2853-04
doi:10.3969/j.issn.1001-3695.2010.08.010
Keywordsextractionalgorithmbasedoncombinedwordandsynset
JIANGChang-jin,PENGHong,CHENJian-chao,MAQian-li,YANGui-duo
(SchoolofComputerScience&Engineering,SouthChinaUniversityofTechnology,Guangzhou510640,China)
Abstract:ThispaperpresentedaChinesewebpagekeywordsextractionalgorithmafterthestudyofexistingtechniquesforkeywordextraction.ThepresentedapproachcouldextremelyimprovetheperformanceofChinesewordsegmentationsystem.ThemodifiedChinesewordsegmentationsystemcouldrecognisemostofnewterms,phrasesandnon-loginwordsinChinese
constructedasynsetdatabaseandusedaddingwebpageandthisisvitallyimportantforChinesekeywordextraction.Moreover,
thefrequenciesofsynonymstogether,avoidingtheco-occurrenceofsynonymsinoutput.Furthermore,createdaeva-luation
functiontoscorecandidatekeywordbasedonitslocation,length,part-of-speech.Theexperimentresultsshowthattheproposedalgorithmhasbetterperformancecomparedwiththetraditionalkeywordextractionalgorithms.Keywords:combinedword;synset;Chinesewebpage;keywordextraction
0引言
网络上文本信息的爆炸式增长,使得手工获取所需的文本
标引
[2]
。
[3]
国外对于关键词的自动抽取的研究起步较早,已经建立了一些实验或实用系统。Turney
设计的GenEx系统将一篇文
[4]
信息的难度日益增大。因此,怎样方便、快捷、准确、自动地获取这些文本的关键信息就变得异常重要。
关键词是为了文献标引工作从报告、论文中选取出来用于表示全文主题内容信息款目的单词或术语。关键词可以是单“计算机”,个词,如也可以是由两个或两个以上的单个词组成“计算机辅助教学”。国标GB7713-87中规定:每的组合词,如篇报告、论文选取3~8个词作为关键词,以显著的字符另起一排在摘要的左下方。关键词高度概括了文本的主要内容,行,
因而最能代表文档的内容和主题,易于使不同的读者通过关键词判断出文本是否是自己需要的内容。不仅如此,由于关键词十分精练,可以利用关键词以很小的计算代价进行文本相关性度量,从而高效地进行信息检索、文本聚类和分类等处理
[1]
章看做一个短语集合,将遗传算法和C4.5决策树归纳算法用于关键短语的抽取。Witten等人
开发了KEA系统,该系统
[5]
采用朴素贝叶斯技术对短语离散的特征值进行训练,获取模型的权值,然后从文档中抽取关键短语。Barker等人短语从文本中抽取关键词。Hulth
[6]
利用名词
提出了一种在学术论文的
摘要中自动提取关键词的方法,采用一种叫做RuleInduction的学习算法,利用实验证明了在文本表示中加入语言学知识,Beltagy等人可使抽取正确率大为提高。El-[7]
Miner系的KP-
并且统能从不同长度的英语文档和阿拉伯文档中抽取关键词,该系统无须对文档集进行训练便能完成抽取任务。
在中文关键词的提取方面,国内学者也进行了卓有成效的探索和研究。耿焕同等人
[8]
。以基于词频统计方法为基础,利
关键词与主题词都能表达文章的主题,但主题词是经过规范化的词,取自主题词表;而关键词是非规范词,选取较为自由。有些新词无法在主题词表中找到,但却是表达主题的关键词。有些文献不区分关键词和主题词。关键词自动抽取是依靠计算机从文档中选择出反映主题内容的词,也称做关键词自动
收稿日期:2010-01-24;修回日期:2010-03-03攻关项目(2007B010200044)
用在词共现图形成的主题信息以及不同主题间的连接特征信息找出一些非高频词但又对主题贡献大的词,自动地提取文档中的主题词,但该方法没有考虑到语义方面的信息,因而难以得到满意的效果。罗准辰等人
[1]
提出将关键词提取分为两个
问题进行处理:关键单词提取和关键词串提取,设计了一种基
9451064101003233);广东省科技基金项目:广东省自然科学基金资助项目(07006474,
作者简介:蒋昌金(1972-),男,湖南武冈人,博士研究生,主要研究方向为人工智能、智能计算、大规模知识获取等(jiangchangjin@163.com);彭宏(1956-),男,重庆人,教授,博导,理学博士,主要研究方向为智能计算、智能商务、数据挖掘、人工智能应用技术等.
基于同义词链的中文关键词提取算法_专业资料。针对传统中文关键词提取对语义和... 基于组合词和同义词集的... 16人阅读 4页 2.00 基于语义的中文文本...
基于组合词和同义词集的关... 4页 免费 基于语义的中文文本关键词... ...词,通过消歧算法和上下文得到候选词的词 概述 义,然后进行词合并、特征提取。...
一种基于同义词的中文关键词提取方法_数学_自然科学_专业资料。第l 2卷第 5期 201 3年1 O月 江南大学学报 (自然科学版) Journal of Jiangnan Uni...
基于语义的中文文本关键词提取算法_计算机软件及应用_IT/计算机_专业资料。为...但目前在基 于语义的关键词提取方法中,仅简单采用同义词和近义词匹 配 [3] ...
算法基础上,提出新的基于词频统计的关键词提取方法。...张颖颖 、索红光 等人分 别采用建立同义词链和基于...结果二元组,相同词语频数相 加,得到二元组 <wi, ...
基于语义词典和词汇链的关键词提取算法_物理_自然科学_专业资料。第4 l卷第 ...于语 义词典 和词 汇链 的关 键词提 取算 法 刘端 阳,王良芳 ( 浙江...
关键词1提供了文档内容的概要信息,它们被使用在很多数据挖掘的应用中。在目前的关键词提取算法中,我们发现词汇层面(代表意思的词)和概念层面(意思本身)的差别导致了...
基于语义的中文文本关键词提取算法_专业资料。为克服传统关键词提取算法局限于字面匹配、缺乏语义理解的缺点,提出一种基于语义的中文文本关键词提取(SKE)算法。将...
其值是独立义原相似度最大组合序列的加权平均值, ...组织成同义词集, 它把同义、 上下位等关系的词...何新贵 % [ 6] 在抽取关键词的算法中也对于出现...
热门文档