文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 计算机软件及应用 > 特征词提取方法汇总
侵权投诉

特征词提取方法汇总

1. 最简单的方法是利用词性进行特征提取。利用NLP分词及词性标注技术对用户评论进行解析,从中提取名词或名词短语来作为候选特征词。此方法的优点是处理速度快,但缺点同样很明显,受限于NLP固有缺陷,分词准确率不高,导致这种方法的准确率也不够理想。

2. 为进一步提高准确性,除了词性,我们还可以利用一些固定模式进行特征词

提取。[14]提供了一种基于规则的半自动化方法,人为选出几种模式,得到候选的特征词,再进行人工选择,剔除非特征词。这种方法的优点是可以在仅利用词性的基础上进一步提高准确率,且方法简易实现;缺点是准确率严重依赖模式的选择。

3. LiuBing[1]提出基于关联分析的特征提取方法。首先对语料库进行词性标注,

提取出每个句子中所有名词或名词短语作为一个transaction,而其中每个名词或短语作为一个item,利用关联分析方法,得到频繁集。再删除不是特征词的频繁集。利用关联分析法可找到频率较高的特征词,但找不到低频率的特征词。基于上述思想,利用高频特征词找到对应的观点词,然后利用观点词找出附近低频特征词,可以提高召回率。

4. 文献[13]提出一种利用互信息(PMI)的特征提取方法。该方法首先提取出

频率高于某一阈值的名词或名词短语来作为候选特征词,然后利用搜索引擎计算出候选特征词与产品的互信息(PMI,Point-wise Mutual Information),依此确定特征词与该产品的相关性。PMI如下所示:

其中f代表候选特征词,d代表某种关系的指示词。Hits代表搜索引擎的命中个数,PMI越高,f与某产品的指示关系d程度越高。 5. [9]首先利用Penn Treebank[18]提取出基础名词短语(BNP),将这些BNP作

为候选特征词,接下来分别用混合模型(Mixture Model)和可能性测试模型(Likelihood Test)进行特征选择。

6. 我们利用TF-IDF提取TD-IDF值大于阈值的特征词作为特征词集合。TF-IDF

特征词提取方法汇总

公式如下:

特征词提取方法汇总

特征词提取方法汇总

, 代表文档dj中所有单词出现的频ni,j代表词i在文档dj中出现的频率;

率。|D|表示语料库中的文件总数。

TFIDFij=tfij*idfi

TF-IDF倾向于过滤掉常见的词语,而保留重要的词语。为了进一步改进试

第1页

你可能喜欢

  • 点特征提取
  • 提取方法
  • 特征方法
  • 特征线法
  • 法的基本特征
  • 提取信息

热门文档

相关文档

  • 领域特征词的提取方法研究

    007 10 领域特征词的提取方法研究 1)于娟 党延忠 (大连理工大学系统工程研究所, 大连 116023) 摘要 本文提出领域特征词 Domain Feature, )( 将其定义为: ...

  • 文本分类中特征提取方法的比较与分析

    文本分类中特征提取方法的比较与分析_IT/计算机_... 当特征的 P(tc)值相等时, 稀有词比普通词的... 《建筑工程管理与实务》笔记总结 50份文档 2014...

  • 多角度的特征提取方法

    很好的汇总很好的汇总隐藏>> 第25卷第3期2010年6月 郑州轻工业学院学报(...提出了融合的多角度的特征提取 方法.该方法利用词频和停用词表进行特征词的静态...

  • 文本分类中特征提取方法的比较与研究

    特征提取方法.该 结论可为分类性能进一步的优化研究奠定理论和实践基础. 关麓词:...总结施工经验,其优点是木工支模板平台,无肋梁侧模, 操作简便,造价低,抗震性能...

  • 【计算机应用研究】_特征提取_期刊发文热词逐年推荐_20...

    【计算机应用研究】_特征提取_期刊发文热词逐年推荐_20140722_天文/地理_自然科学_专业资料。2008年 序号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 ...

  • 文本分类的特征提取方法比较与改进_申红

    实验结果表明 V 2 统计方法具有最好的准确率 , 各种改进的特征提取方法都能提高文本分类的准确率。 关键词 : 特征提取 ; 文本分类 ; 互信息 ; 支持向量机 ...

  • 文本分类的特征提取方法比较与改进

    文本分类的特征提取方法比较与改进文本分类的特征提取方法比较与改进隐藏>> 23 ...这样的取词策略可确保多类的特征词和单类特有的特征词 都能兼顾 , 并能克服...

  • 文本分类中特征提取方法的比较与研究

    文本分类包含向量空间模型 、特征提取 、文本分类方法...中图分类号 : TP 391 文献标识码 : A 关键词 ...通过图书馆工程所使用的蜂巢芯空心楼盖 , 总结施工...

  • 文本分类中特征提取方法的比较与研究

    为特征 词. 文本分类中 ,用于特征提取的统计方法有 :信息增益方法(G)I 、互...总结施 工 经验 ,其优 点是 木工 支 模板 平台 ,无肋 梁 侧模 , 操作 ...

  • 图像特征提取方法的综述

    特征提取的4种方法, 阐 并对其方法进行了比较分析研究 . 关键词: 特征提取; ...础和技术总结 .0 年代以后, 9 统一的框 架小波变换提供了图像特征提取的...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email