文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 自然科学 > 数学 > 基于组合词和同义词集的关键词提取算法
侵权投诉

基于组合词和同义词集的关键词提取算法

(1)

score(wi)=ni+λ·(len(wi)+loc(wi)+POS(wi))

如果k≥0,则在wordMap中找到wi对应的词它的出现位置k,

信息项,设置其onTitle属性为true,并在title中删除wi(可能其中:ni为词wi出现次数。

~6个中文字符len(wi)=

{1,if词wi的长度为4α,if词wi的长度≥7个中文字符0<α<1

0,otherwize

1,if词wi出现在主、副标题位置loc(wi)=

{

β,if词wi出现在首、尾段位置0<β<10,otherwize

γ,if

词w

i是人名(nr)、

地名(ns)、

机构团 体名(ntPOS(wi)

= ) 1,if词wi是除了上述三种名词之外的 名词或者组合词(词组) 0,otherwize

其中:0≤γ≤1,参数α、β、γ、λ的相对最优值应根据网页的类型和长度的不同而不同,具体取值根据反复实验确定。

3

CWKEACS算法的实现

3.1

CWKEACS算法步骤本算法流程如图1所示

基于组合词和同义词集的关键词提取算法

。

1)输入和预处理

{a)从URL数据库读入或人工输入待提取网页的URL以及用户指定的要提取的关键词个数n;

b)加载同义词词库(LoadSynWords())和停用词表(Load-StopWords())。

c)调用网页提取算法分别获得网页的标题和内容(GetTi-tle()和GetContent()),保存在自定义的网页信息结构Web-Text中。

d)调用分词系统ICTCLAS,对所得网页标题和内容进行分词及词性标注;}

2)组合词提取和分词修正

{调用组合词提取算法(ExtractCombineWordsFromText()),以还原被分词系统切碎的词,修正分词结果,并标记组合词的词性}

3)停用词过滤和词频统计{

(1)对分词修正后的每一个词wi:

a)调用MatchWordType()函数根据词性进行过滤,如果wi

为标点符号、虚词,则被丢弃;否则转b)。

b)在停用词表stopWords中查找wi,如果找到则wi被丢弃;否则转c)。

c)在保存分词信息的哈希表wordMap中查找wi,如果找到,则将其频率加1;否则在wordMap中添加一项,key为wi,value为一个新的词信息结构(wordInfo)对象,设其频率为1,onTitle字段设为false。根据其词性设置isNoun字段的值,如果为名词或组合词,则设置为true;否则设为false。

(2)判断分词是否出现在标题中。首先找到出现在标题中的所有分词,保存在titleWords中;对titleWords按词长度降序排序,titleWord中的每一个词wi,在文档标题(title)中查找

有多个)。

}

4)同义词合并和综合评分

{a)扫描同义词集synWordSet,将wordMap中的几个同义

词视为一个词,保留第一个词,删除其他同义词,把所有同义词的频率加起来作为新的频率;

b)计算每一个候选关键词的综合加权评分。对wordMap中的每一个词,按式(1)计算其分数,并将结果保存在分数表wordScoreList中。

}

5)关键词输出

{对wordScoreList中的候选关键词按分数降序排序,选择评分高的前n个词输出为关键词。如果wordScoreList中的元素个数小于n,则输出所有候选关键词。}3.2

CWKEACS算法相关变量及函数说明

wordMap:保存分词统计信息的哈希表,key为String类型的分词,

value为自定义的词信息结构对象。stopWords:停用词表,保存一些出现频率很大的常用词,如

“的”“是”。synWordSet:同义词集表。

wordScoreList:保存候选关键词及分数的列表,其元素为自

定义的wordScore结构对象。

GetWebText(url):获取网页文本,根据URL提取网页的文本,分为Title和Content。

Statistic():统计函数,统计出现在网页标题和内容中的分词,得到词频和相关信息(onTitle和isNoun属性)。

LoadSynWords():加载同义词词库,从文本读入同义词信息,保存到synWordSet中。

LoadStopWords():加载停用词,从文本读入停用词,保存在stopWords中。

CombineSynWords():合并同义词函数。

CalcScore():计算候选关键词的分数,把结果保存到word-ScoreList中。

IsNoun(type):判断一个词是否是名词,如果是则返回true;否则返回false。其中名词包括普通名词、专有名词、地名等。

MatchWordType(type):判断是否是虚词或标点符号,如果是则返回true;否则返回false。

GetKeyword(url,n):算法的对外接口,输出分数最高的前n个关键词。

4实验分析

首先利用网络蜘蛛从互联网中随机抓取了100个网页作

为关键词提取测试的语料,内容涉及文学艺术、政治、经济、计算机、教育、房地产、医学、交通、军事等领域。进行预处理后,这些测试文档长度为1939~12971个中文字符不等。然后对这100篇测试语料进行人工关键词的提取。为提高人工关键词的提取准确度,将提取人员分成两组,每组分别对每篇文档人工提取出6~8个关键词。对每一篇文档,

将两组人员人工提取的关键词(当然有重叠的)进行综合,然后选取4~6个重

上一页第3页

你可能喜欢

  • 销售营销
  • 江苏省计算机二级考试
  • 足底按摩
  • 提取关键词
  • 特征选择

热门文档

相关文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email