北京邮电大学博士学位论文第一章绪论1.2文本挖掘相关技术概述及研究现状
本文的研究工作涉及文本分类、聚类、信息抽取和检索。作为背景,本节将简要地介绍这四项技术。
1.2.1文本分类概述及研究现状
在文本分类方面,最初人们希望通过经验和专业知识对事物进行定性分析,即由专业人员手工编写和维护分类规则来进行分类。这类系统的典型例子是CONSTlmE系统‘101。手工方法的缺点是构建自动分类器时必须要为领域专家获取的知识和知识工程师的知识表示之间架起桥梁。如果这种分类器被应用到完全不同的领域,工作必须推倒重来。
二十世纪九十年代以来,随着信息存储技术和通信技术的迅猛发展,大量的文字信息开始以计算机可读的形式存在,而且其数量每天仍在急剧增加。在这种情况下,基于机器学习的文本分类逐渐取代了基于知识工程的方法,成为文本分类的主流技术。
文本分类是一个有监督的学习过程。它根据一个已经被标注的训练文本集合,找到文本特征和文本类别之间的关系模型,然后利用这种学习得到的关系模型对新的文本类别进行判断。我们可以更形式化地对文本分类过程进行描述。假设有一组文本概念类C和一组训练文本D。文本概念类和文本库中的文本可能满足某一概念层次关系.Il。客观上,存在着一个目标概念r,有:
丁:D专C式(1.1)
这里,r把一个文本实例映射为某一个类。对D中的文本d,r(d)是已知的。通过有监督地对训练文本集的学习,可以找到一个近似于丁的模型H:
日:D_C式(1.2)
对于一个新文本d。,日(d。)表示对以的分类结果。一个分类系统的建立或者说分类学习的目的就是寻找一个和r最相近似的H。即给定一个评估函数.厂,学习的目标应使丁和日满足:
如要投诉违规内容,请到百度文库投诉中心;如要提出功能问题或意见建议,请点击此处进行反馈。 加入会员!获取文档下载券 WEB文本挖掘中关键问题的研究 文本挖掘,数据...
如要投诉违规内容,请到百度文库投诉中心;如要提出功能问题或意见建议,请点击此处进行反馈。 加入会员!获取文档下载券 WEB文本挖掘的研究 文章首先探讨了Web挖掘的...
如要投诉违规内容,请到百度文库投诉中心;如要提出功能问题或意见建议,请点击此处进行反馈。 加入会员!获取文档下载券 WEB文本挖掘中关键问题的研究[1] 文本挖掘...
如要投诉违规内容,请到百度文库投诉中心;如要提出功能问题或意见建议,请点击...基于Web的文本挖掘的研究 基于web的文本挖掘是文本挖掘的一个重要的组成部分,本...
如要投诉违规内容,请到百度文库投诉中心;如要提出功能问题或意见建议,请点击...基于Web的文本挖掘研究 基于Web的文本挖掘是数据挖掘的重要组成部分,文章重点对...
文本分类技术是Web文本挖掘中一项最重要的技术,随着中文网页数量的急 剧增加,...目前对此问题的研究较少,普遍 采用的方法是首先设定一个固定阀值,然后分别计算待...
因此 , 要想对 集成问题 。 2 Web 文本挖掘的定义 自然语言处理 、 数据...文本挖掘的关键技术 .1 4 文本特征表示 文本特征指的是代表 Web 文本的元数 ...
Web 文本挖掘的相关问题进行分析, 就 在分析 web 挖掘和其研究方向的基础上, 重点对于 web 文本挖掘进行探讨。 〔关键词〕 web 挖掘; Web 文本挖掘; 文本分类...
基于Web的文本挖掘是数据挖掘的重要组成部分,探讨了Web文本特征提取、文本分类、文本聚类等Web文本挖掘关键实现技术,最后讨论了Web文本挖掘的价值及其对Web发展的重要性...
Web文本挖掘技术是解决上述问题的一一种方法。Web 文本挖掘借鉴数据挖掘的基本思想和理论方法,从大量非结构化、异构的 Web文档的集合中发现有效的、新颖的、潜在可用...
热门文档