文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 自然科学 > 数学 > 基于组合词和同义词集的关键词提取算法
侵权投诉

基于组合词和同义词集的关键词提取算法

第27卷第8期2010年8月计算机应用研究

ApplicationResearchofComputersVol.27No.8Aug.2010

基于组合词和同义词集的关键词提取算法

蒋昌金,彭

摘

*

宏,陈建超,马千里,严桂夺

(华南理工大学计算机科学与工程学院,广州510640)

要:为了提高关键词的提取准确率,在对现有关键词抽取方法进行研究的基础之上,针对影响关键词提取

准确率的分词技术、同义词现象等难点,提出了一种基于组合词和同义词集的关键词提取算法。该算法首先利用组合词识别算法极大地改进分词效果,能识别网页上绝大多数的新词、未登录词,为提高关键词自动抽取准确合并同义词的词频,避免了同义词在输出结果中同现;利用综率奠定了坚实的基础;同时利用构造的同义词集,

合评分公式,充分考虑候选关键词的位置、长度、词性等特性。实验数据表明,该方法有较高的提取准确率。关键词:组合词;同义词集;中文网页;关键词提取中图分类号:TP391.1

文献标志码:A

文章编号:1001-3695(2010)08-2853-04

doi:10.3969/j.issn.1001-3695.2010.08.010

Keywordsextractionalgorithmbasedoncombinedwordandsynset

JIANGChang-jin,PENGHong,CHENJian-chao,MAQian-li,YANGui-duo

(SchoolofComputerScience&Engineering,SouthChinaUniversityofTechnology,Guangzhou510640,China)

Abstract:ThispaperpresentedaChinesewebpagekeywordsextractionalgorithmafterthestudyofexistingtechniquesforkeywordextraction.ThepresentedapproachcouldextremelyimprovetheperformanceofChinesewordsegmentationsystem.ThemodifiedChinesewordsegmentationsystemcouldrecognisemostofnewterms,phrasesandnon-loginwordsinChinese

constructedasynsetdatabaseandusedaddingwebpageandthisisvitallyimportantforChinesekeywordextraction.Moreover,

thefrequenciesofsynonymstogether,avoidingtheco-occurrenceofsynonymsinoutput.Furthermore,createdaeva-luation

functiontoscorecandidatekeywordbasedonitslocation,length,part-of-speech.Theexperimentresultsshowthattheproposedalgorithmhasbetterperformancecomparedwiththetraditionalkeywordextractionalgorithms.Keywords:combinedword;synset;Chinesewebpage;keywordextraction

0引言

网络上文本信息的爆炸式增长,使得手工获取所需的文本

标引

[2]

。

[3]

国外对于关键词的自动抽取的研究起步较早,已经建立了一些实验或实用系统。Turney

设计的GenEx系统将一篇文

[4]

信息的难度日益增大。因此,怎样方便、快捷、准确、自动地获取这些文本的关键信息就变得异常重要。

关键词是为了文献标引工作从报告、论文中选取出来用于表示全文主题内容信息款目的单词或术语。关键词可以是单“计算机”,个词,如也可以是由两个或两个以上的单个词组成“计算机辅助教学”。国标GB7713-87中规定:每的组合词,如篇报告、论文选取3~8个词作为关键词,以显著的字符另起一排在摘要的左下方。关键词高度概括了文本的主要内容,行,

因而最能代表文档的内容和主题,易于使不同的读者通过关键词判断出文本是否是自己需要的内容。不仅如此,由于关键词十分精练,可以利用关键词以很小的计算代价进行文本相关性度量,从而高效地进行信息检索、文本聚类和分类等处理

[1]

章看做一个短语集合,将遗传算法和C4.5决策树归纳算法用于关键短语的抽取。Witten等人

开发了KEA系统,该系统

[5]

采用朴素贝叶斯技术对短语离散的特征值进行训练,获取模型的权值,然后从文档中抽取关键短语。Barker等人短语从文本中抽取关键词。Hulth

[6]

利用名词

提出了一种在学术论文的

摘要中自动提取关键词的方法,采用一种叫做RuleInduction的学习算法,利用实验证明了在文本表示中加入语言学知识,Beltagy等人可使抽取正确率大为提高。El-[7]

Miner系的KP-

并且统能从不同长度的英语文档和阿拉伯文档中抽取关键词,该系统无须对文档集进行训练便能完成抽取任务。

在中文关键词的提取方面,国内学者也进行了卓有成效的探索和研究。耿焕同等人

[8]

。以基于词频统计方法为基础,利

关键词与主题词都能表达文章的主题,但主题词是经过规范化的词,取自主题词表;而关键词是非规范词,选取较为自由。有些新词无法在主题词表中找到,但却是表达主题的关键词。有些文献不区分关键词和主题词。关键词自动抽取是依靠计算机从文档中选择出反映主题内容的词,也称做关键词自动

收稿日期:2010-01-24;修回日期:2010-03-03攻关项目(2007B010200044)

用在词共现图形成的主题信息以及不同主题间的连接特征信息找出一些非高频词但又对主题贡献大的词,自动地提取文档中的主题词,但该方法没有考虑到语义方面的信息,因而难以得到满意的效果。罗准辰等人

[1]

提出将关键词提取分为两个

问题进行处理:关键单词提取和关键词串提取,设计了一种基

9451064101003233);广东省科技基金项目:广东省自然科学基金资助项目(07006474,

作者简介:蒋昌金(1972-),男,湖南武冈人,博士研究生,主要研究方向为人工智能、智能计算、大规模知识获取等(jiangchangjin@163.com);彭宏(1956-),男,重庆人,教授,博导,理学博士,主要研究方向为智能计算、智能商务、数据挖掘、人工智能应用技术等.

第1页

你可能喜欢

  • 销售营销
  • 江苏省计算机二级考试
  • 足底按摩
  • 提取关键词
  • 特征选择

热门文档

相关文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email