(1)
score(wi)=ni+λ·(len(wi)+loc(wi)+POS(wi))
如果k≥0,则在wordMap中找到wi对应的词它的出现位置k,
信息项,设置其onTitle属性为true,并在title中删除wi(可能其中:ni为词wi出现次数。
~6个中文字符len(wi)=
{1,if词wi的长度为4α,if词wi的长度≥7个中文字符0<α<1
0,otherwize
1,if词wi出现在主、副标题位置loc(wi)=
{
β,if词wi出现在首、尾段位置0<β<10,otherwize
γ,if
词w
i是人名(nr)、
地名(ns)、
机构团 体名(ntPOS(wi)
= ) 1,if词wi是除了上述三种名词之外的 名词或者组合词(词组) 0,otherwize
其中:0≤γ≤1,参数α、β、γ、λ的相对最优值应根据网页的类型和长度的不同而不同,具体取值根据反复实验确定。
3
CWKEACS算法的实现
3.1
CWKEACS算法步骤本算法流程如图1所示

。
1)输入和预处理
{a)从URL数据库读入或人工输入待提取网页的URL以及用户指定的要提取的关键词个数n;
b)加载同义词词库(LoadSynWords())和停用词表(Load-StopWords())。
c)调用网页提取算法分别获得网页的标题和内容(GetTi-tle()和GetContent()),保存在自定义的网页信息结构Web-Text中。
d)调用分词系统ICTCLAS,对所得网页标题和内容进行分词及词性标注;}
2)组合词提取和分词修正
{调用组合词提取算法(ExtractCombineWordsFromText()),以还原被分词系统切碎的词,修正分词结果,并标记组合词的词性}
3)停用词过滤和词频统计{
(1)对分词修正后的每一个词wi:
a)调用MatchWordType()函数根据词性进行过滤,如果wi
为标点符号、虚词,则被丢弃;否则转b)。
b)在停用词表stopWords中查找wi,如果找到则wi被丢弃;否则转c)。
c)在保存分词信息的哈希表wordMap中查找wi,如果找到,则将其频率加1;否则在wordMap中添加一项,key为wi,value为一个新的词信息结构(wordInfo)对象,设其频率为1,onTitle字段设为false。根据其词性设置isNoun字段的值,如果为名词或组合词,则设置为true;否则设为false。
(2)判断分词是否出现在标题中。首先找到出现在标题中的所有分词,保存在titleWords中;对titleWords按词长度降序排序,titleWord中的每一个词wi,在文档标题(title)中查找
有多个)。
}
4)同义词合并和综合评分
{a)扫描同义词集synWordSet,将wordMap中的几个同义
词视为一个词,保留第一个词,删除其他同义词,把所有同义词的频率加起来作为新的频率;
b)计算每一个候选关键词的综合加权评分。对wordMap中的每一个词,按式(1)计算其分数,并将结果保存在分数表wordScoreList中。
}
5)关键词输出
{对wordScoreList中的候选关键词按分数降序排序,选择评分高的前n个词输出为关键词。如果wordScoreList中的元素个数小于n,则输出所有候选关键词。}3.2
CWKEACS算法相关变量及函数说明
wordMap:保存分词统计信息的哈希表,key为String类型的分词,
value为自定义的词信息结构对象。stopWords:停用词表,保存一些出现频率很大的常用词,如
“的”“是”。synWordSet:同义词集表。
wordScoreList:保存候选关键词及分数的列表,其元素为自
定义的wordScore结构对象。
GetWebText(url):获取网页文本,根据URL提取网页的文本,分为Title和Content。
Statistic():统计函数,统计出现在网页标题和内容中的分词,得到词频和相关信息(onTitle和isNoun属性)。
LoadSynWords():加载同义词词库,从文本读入同义词信息,保存到synWordSet中。
LoadStopWords():加载停用词,从文本读入停用词,保存在stopWords中。
CombineSynWords():合并同义词函数。
CalcScore():计算候选关键词的分数,把结果保存到word-ScoreList中。
IsNoun(type):判断一个词是否是名词,如果是则返回true;否则返回false。其中名词包括普通名词、专有名词、地名等。
MatchWordType(type):判断是否是虚词或标点符号,如果是则返回true;否则返回false。
GetKeyword(url,n):算法的对外接口,输出分数最高的前n个关键词。
4实验分析
首先利用网络蜘蛛从互联网中随机抓取了100个网页作
为关键词提取测试的语料,内容涉及文学艺术、政治、经济、计算机、教育、房地产、医学、交通、军事等领域。进行预处理后,这些测试文档长度为1939~12971个中文字符不等。然后对这100篇测试语料进行人工关键词的提取。为提高人工关键词的提取准确度,将提取人员分成两组,每组分别对每篇文档人工提取出6~8个关键词。对每一篇文档,
将两组人员人工提取的关键词(当然有重叠的)进行综合,然后选取4~6个重
基于同义词链的中文关键词提取算法_专业资料。针对传统中文关键词提取对语义和... 基于组合词和同义词集的... 16人阅读 4页 2.00 基于语义的中文文本...
基于组合词和同义词集的关... 4页 免费 基于语义的中文文本关键词... ...词,通过消歧算法和上下文得到候选词的词 概述 义,然后进行词合并、特征提取。...
一种基于同义词的中文关键词提取方法_数学_自然科学_专业资料。第l 2卷第 5期 201 3年1 O月 江南大学学报 (自然科学版) Journal of Jiangnan Uni...
基于语义的中文文本关键词提取算法_计算机软件及应用_IT/计算机_专业资料。为...但目前在基 于语义的关键词提取方法中,仅简单采用同义词和近义词匹 配 [3] ...
算法基础上,提出新的基于词频统计的关键词提取方法。...张颖颖 、索红光 等人分 别采用建立同义词链和基于...结果二元组,相同词语频数相 加,得到二元组 <wi, ...
基于语义词典和词汇链的关键词提取算法_物理_自然科学_专业资料。第4 l卷第 ...于语 义词典 和词 汇链 的关 键词提 取算 法 刘端 阳,王良芳 ( 浙江...
关键词1提供了文档内容的概要信息,它们被使用在很多数据挖掘的应用中。在目前的关键词提取算法中,我们发现词汇层面(代表意思的词)和概念层面(意思本身)的差别导致了...
基于语义的中文文本关键词提取算法_专业资料。为克服传统关键词提取算法局限于字面匹配、缺乏语义理解的缺点,提出一种基于语义的中文文本关键词提取(SKE)算法。将...
其值是独立义原相似度最大组合序列的加权平均值, ...组织成同义词集, 它把同义、 上下位等关系的词...何新贵 % [ 6] 在抽取关键词的算法中也对于出现...
热门文档