北京邮电大学博上学位论文第一章绪论
砌(∑翌厂(丁(矾)一日(伽)
一般来讲,文本分类需要解决五个问题,或者说有五个步骤:
(1)获取训练文本集式(1-3)
训练文本集选择是否合适对文本分类器的性能有较大影响。训练文本集应该能够广泛地代表分类系统所要处理的客观存在的各个文本类中的文本。一般而言,训练文本集应是公认的经人工分类的语料库。
(2)建立文本表示模型
即选用什么样的文本特征和用怎样的数学形式组织这些文本特征来表征文本。这是文本分类中的一个重要技术问题。目前的文本分类方法和系统大多以词或词组作为表征文本语义的语言要素,表示模型主要有布尔模型和向量空间模型。
(3)文本特征选择
语言是一个开放的系统,作为语言的一种书面物化或者电子化的文本也是开放的。它的大小、结构、包含的语言元素和信息都是开放的,因此它的特征也是无限制的。文本分类系统应该选择尽可能少而准确且与文本主题概念密切相关的文本特征进行文本分类。
(4)选择分类方法
也就是说用什么方法建立从文本特征到文本类别的映射关系,这是文本分类的核心问题。常用的方法有朴素贝叶斯(NajfveBayes,NB)【ll】【12】【13】、k.近邻(k.NearestNeighbor,l洲N)【141、类中心向量【151【161、回归模型【171、最大熵模型(Ma)【im啪En臼-0py,ME)【18】【191、支持向量机(SupportⅥIctorMaClline,SⅥⅥ)【20】【211等。实际使用较多的是k-近邻、最大熵模型和支持向量机,这几种方法分类效果不错,而且具有较强的稳定性。
(5)性能评估模型
即如何评估分类方法和系统的性能或者说分类结果。真正反映文本分类内在特征的性能评估模型可以作为改进和完善分类系统的目标函数。在文本分类中,使用什么评价参数取决于具体的分类问题。单标注分类问题(一个测试文本只属于一个类)和多标注分类问题(一个测试文本可以属于多个类)所使用的评估参数是不一
如要投诉违规内容,请到百度文库投诉中心;如要提出功能问题或意见建议,请点击此处进行反馈。 加入会员!获取文档下载券 WEB文本挖掘中关键问题的研究 文本挖掘,数据...
如要投诉违规内容,请到百度文库投诉中心;如要提出功能问题或意见建议,请点击此处进行反馈。 加入会员!获取文档下载券 WEB文本挖掘的研究 文章首先探讨了Web挖掘的...
如要投诉违规内容,请到百度文库投诉中心;如要提出功能问题或意见建议,请点击此处进行反馈。 加入会员!获取文档下载券 WEB文本挖掘中关键问题的研究[1] 文本挖掘...
如要投诉违规内容,请到百度文库投诉中心;如要提出功能问题或意见建议,请点击...基于Web的文本挖掘的研究 基于web的文本挖掘是文本挖掘的一个重要的组成部分,本...
如要投诉违规内容,请到百度文库投诉中心;如要提出功能问题或意见建议,请点击...基于Web的文本挖掘研究 基于Web的文本挖掘是数据挖掘的重要组成部分,文章重点对...
文本分类技术是Web文本挖掘中一项最重要的技术,随着中文网页数量的急 剧增加,...目前对此问题的研究较少,普遍 采用的方法是首先设定一个固定阀值,然后分别计算待...
因此 , 要想对 集成问题 。 2 Web 文本挖掘的定义 自然语言处理 、 数据...文本挖掘的关键技术 .1 4 文本特征表示 文本特征指的是代表 Web 文本的元数 ...
Web 文本挖掘的相关问题进行分析, 就 在分析 web 挖掘和其研究方向的基础上, 重点对于 web 文本挖掘进行探讨。 〔关键词〕 web 挖掘; Web 文本挖掘; 文本分类...
基于Web的文本挖掘是数据挖掘的重要组成部分,探讨了Web文本特征提取、文本分类、文本聚类等Web文本挖掘关键实现技术,最后讨论了Web文本挖掘的价值及其对Web发展的重要性...
Web文本挖掘技术是解决上述问题的一一种方法。Web 文本挖掘借鉴数据挖掘的基本思想和理论方法,从大量非结构化、异构的 Web文档的集合中发现有效的、新颖的、潜在可用...
热门文档