文本自动分类是信息检索与数据挖掘领域的研究热点与核心技术,近年来得到了广泛的关注和快速的发展.提出了基于机器学习的文本分类技术所面临的互联网内容信息处理等复杂应用的挑战,从模型、算法和评测等方面对其研究进展进行综述评论,认为非线性、数据集偏斜、标注瓶颈、多层分类、算法的扩展性及Web页分类等问题是目前文本分类研究的关键问题,并讨论了这些问题可能采取的方
维普资讯 doc.guandang.net
苏金树等:于机器学习的文本分类技术研究进展基
14 89
随着信息技术的发展,互联网数据及资源呈现海量特征、为了有效地管理和利用这些分布的海量信息,基于内容的信息检索和数据挖掘逐渐成为备受关注的领域、中,其文本分类( x ae oi t n简称 T )术是信息 t tctg r ai, e z o C技
检索和文本挖掘的重要基础,主要任务是在预先给定的类别标记( b 1合下,其 1 e) a集根据文本内容判定它的类别 . 文本分类在自然语言处理与理解、信息组织与管理、内容信息过滤等领域都有着广泛的应用 . 2 O世纪 9 O年代逐渐成熟的基于机器学习的文本分类方法,更注重分类器的模型自动挖掘和生成及动态优化能力,分类效果在和灵活性上都 .之前基于知识工程和专家系统的文本分类模式有所突破,}匕成为相关领域研究和应用的经典范例【' l 1 基于机器学习文本分类的基础技术由文本的表示 ( pee tt n、 r rsnai )分类方法及效果(f ciees评估 3部 e o ef t n s) e v 分组成 .e at n S b si i在文献[】对文本分类发展历程及当时的技术进行了总结,要内容包括: )文本关于项 a 1中主 ( 1
( r或特征的向量空间表示模型( M)特征选择 (eet n与特征提取 (xrcin两种表示空间降维 t m) e VS及 slci ) o et t ) a o (i nin ly rd c o ) dme s ai e ut n策略, o t i讨论了, MI I G,, OR等用于特征过滤的显著性统计量及项聚类和隐含语义索引 ( S) L I等特征提取方法; )当时较成熟的分类模型方法,分类器的归纳构造( d cie c nt cin或模型的 ( 2即 i ut o sut ) n v r o挖掘学习过程; )分类效果评估指标,正确率(rcs n、召回率(ea ) ( 3如 peii ) o rc l、均衡点( E )常用 F ) 1 B P、F 1和精度 (cuay等, ac rc )以及之前
报道的在 Retr基准语料上的效果参考比较 . ues等
然而,互联网中分布传播的海量电子化文本所显现出的种类多样、分布偏斜、关系复杂、更新频繁及标注
困难等新的特征,近年来面向互联网海量信息处理需求的文本分类带来了巨大挑战 .【】给文献 1对分类技术用于 解决上述问题时在不同程度上遇到的扩展性差、语料缺乏及精度降低等困难和问题的论述不够,也无法涉及近几年技术的发展以及信息检索、机器学习和数据挖掘等领域权威学术会议及刊物上讨论的重要问题和成果. 本文介绍基于机器学习文本分类技术的最新研究,点讨论文本分类在互联网信息处理等实际应用中所重面临的问题及进展,从相关问题、现状和趋势等方面进行归纳和评论 . 1节介绍基础技术的研究动态 . 2节第第讨论现阶段文本分类面向实际应用挑战的主要研究问题及最新进展 .最后给出全文的总结和相关技术的展望 .
1文本分类基础技术研究动态 近年来,文本简化为所谓的 BO b go wod)将 W(a f rs,在特征处理和统计学习算法的基础上获得对文本语义内容及类别信息的估计与预测,已经成为文本分类的标准模式 .过统计理论和语言学 (n us c)种途径进行通 1 g i is两 i t的文本表示和分类模型的研究也得到进一步拓宽或发展,关领域的技术也在文本分类中得到新的应用 .相 11文本表示 . VS仍是文本表示的主要方法,关研究仍然集中在以什么语义单元作为项及计算项的权重两个问题上 . M相
大部分工作仍以词 ( ga作为项,或 .rm)以项的频率为基础计算权重,如 i等….得注意的是, b l提出了有 a f值 De oe 监督的权重 s 利用项的显著性统计量 (用等 )平衡其权重【;献[,】也使用类似的方法 .对使用 T w’如来 2文 3等 4相
i a重,些统计量的引入使得 S f权某 VM及线性分类等方法的分类效果有了不同程度的提高 . 除 VS以外,有人提出基于项概率分布、 M还基于二维视图等模型. g认为, Bii任意文本 d和类别 C可视为均所有项的一个概率分布 P(, P( c, 1…, (为所有项或特征的集合) t 和 t )-, l i l
,称为项分布概率表示.通过度量分布间的 K l akL ilr离( L相似性的分类方法, ul c— e e距 b b K D)获得优于 VS表示下线性方法的效果【项分布概率模 M .
型本质上仅是在项的权重计算和规格化(omai t n - VS不同. n i用可视的二维表示方法,所 n r l ai )] z o与 M Nu zo使将有项的信息压缩到由局部能量和全局能量构成的二维平面上,用启发式算法进一步计算后,某些测试集上采在 得到了很高的准确性【然而,仅是在小数据集上进行了测试,际应用效果还需要进一步加以验证.;方法实 还有一些工作希望通过借鉴自然语言处理的技术考虑被 B OW忽略的语义单元间的联系,因此,义及短词 语等复杂的项被应用到分类方法的文本表示中 .到目前为止,些表示方法在分类效果上还没有明显的优势,但这
而且往往需要比较复杂的语言预处理,在分类时影响了分类器的吞吐速度【到目前为止, VS的表示在理 7. '非 M论上的合理性及面对实际应用的可扩展性还需要深入验证,合它们的分类方法比较单一,且未得到广泛的适而 应用.

E-mail: jos@iscas.ac.cn http://www.jos.org.cn Tel/Fax: +86-10-62562563 基于机器学习的文本分类技术研究进展苏金树 1, 张博锋 1+, 徐昕 1,2 1 ...
E-mail: jos@iscas.ac.cn http://www.jos.org.cn Tel/Fax: +86-10-62562563 基于机器学习的文本分类技术研究进展苏金树 1, 张博锋 1+, 徐昕 1,2 1 ...
(南京师范大学地理信息科学江苏省重点实验室,南京210097) 摘要 文本自动分类是目前最常用的文本信息自动处理技术,也是机器学习、自然语言处理和信息检索领域的 研究热点...
; 2. 解放军理工大学指挥自动化学院计算机系 ,江苏 南京 210007) 摘要 : 基于机器学习的文本分类是近年来信息检索领域的热门研究技术 , 并且取得了较大进展 。...
基于机器学习的文本分类方法综述_专业资料。文本分类是信息检索与数据挖掘领域的核心技术,是机器学习领域新的研究热点。本文对现有的基于机器学习的文本分类方法进行...
队,江苏南京210007;2.解放军理工大学指挥自动化学院计算机系。江苏南京210007) 摘要:基于机器学习的文本分类是近年来信息检索领域的热门研究技术,并且取得了较大进展。...
基于机器学习的维吾尔文文本分类研究_专业资料。随着Internet上维吾尔文信息的迅速发展,维吾尔文文本分类成为处理和组织这些大量文本数据的关键技术。研究维吾尔文文本分类...
吴科 申请学位级别:博士 专业:计算机软件与理论 指导教师:吕宝粮 20080501 基于机器学习的文本分类研究摘要随着信息技术尤其是因特网相关技术的发展与成熟,人们可...
基于机器学习算法的文本分类方法综述摘要: 文本分类是机器学习领域新的研究热点。...文本分类方法, 讨论了各种 方法的优缺点,并指出了文本分类方法未来可能的发展...
苏德富 20070601 10于机器掌习的文事分兵算法研究 基于机器学习的文本分类算法研究 摘要 随着计算机技术、数据库技术、网络技术的飞速发展和I nternet 的日益普及,在...
热门文档