文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 基于web的文本挖掘研究
侵权投诉

基于web的文本挖掘研究

文本特征提取相关文献资料

#$$#年第"$期微电子学与计算机!"

基于!"#的文本挖掘研究

%&’&()*+,-.&/012-2-34(’&5,-6&7

苏州大学计算机信息处理重点实验室崔志明谢春丽

摘

8苏州#"!$$9:

要:基于6&7的文本挖掘是数据挖掘的重要组成部分,文章重点对文本特征提取、文本分类、文本聚类等

最后讨论了6&7文本挖掘的价值及其对6&7发展的重要性。6&7文本挖掘关键实现技术做了介绍,

关键词:文本挖掘,文本分类,文本聚类,特征提取

$引言

在迅猛增加的海量的异构的6&7信息资源中,

%特征提取

蕴含着具有巨大潜在价值的数据。因而人们迫切的需要能从6&7上快速、有效地发现资源和数据的工具,以提高在6&7上检索信息、利用信息的效率。基于6&7的文本挖掘是一项综合技术,涉及

计算语言学、信息学等多个领域。不6&7数据挖掘、

同研究者从各种不同的角度出发,对文本挖掘有着不同的理解。我们从较一般的角度出发,将基于6&7的文本挖掘看成是从大量6&7文本的集合中

发现隐含的有效模式。

基于6&7的文本挖掘是从数据挖掘发展而来,但是它同传统的数据挖掘相比又有许多独特之处。首先,异构、分布6&7文本挖掘的对象是海量、的6&7文本。其次,6&7在逻辑上是一个由文档集合超链接构成的图,因此,6&7文本挖掘所得到的模式可能是关于6&7内容的,也可能是关于6&7结构的。由于6&7文本是一个半结构化或无结构化的,且缺乏机器所能理解的语义,从而使有些数据挖掘技术并不适用于6&7挖掘。因而,开发新的

以6&7文本挖掘技术以及对6&7文本进行预处理,提取该文本的特征,便成为6&7文本挖掘研究的重点。

基于6&7文本挖掘的主要处理过程是对6&7

上大量文档集合的内容进行分词处理、特征提取、结构分析、文本摘要、文本分类、文本聚类、关联分析等。图"给出了基于6&7的文本挖掘的一般处理过程。

对6&7文本中出现的词条.及其权值的选取称为特征提取。由于6&7文本是半结构化的甚至是无结构化的,为了能够分析文本的内容,引入了向量空间8=>1:的概念,从文本的内容抽取出来一些能代表文本内容的词条,通过分析这些特征词,达到分析6&7文本内容的目的。任何的6&7文本都可以用从中抽取出来的特征向量:=85:?80"@A"85:B…B02@A285:B…B0-@A-85::来唯一的代表文本,其中02为词条项,A285:为02在文档5中的权值。基于6&7的文本挖掘的特征提取重点是对文本中出现的词汇、名字、术语、日期和短语的特征提取,目标是实现提取过程的自动化。事实上,文本中词汇、名字和日期一般在文中出现很多,因而特征提取已成为基于6&7文件挖掘中的一项关键技术。

用特征词条及其权值代表目标信息,词条在不同文档中所呈现出的频率分布是不同的,因此可以根据词条的频率特性进行特征提取和权值评价。6&7文本中存在大量的C.1D格式的文本,与普通的文本相比,结构信C.1D文档中有明显的标识符,息更加明显,在计算特征词条权值时,可以充分考虑C.1D文档的特点,对于标题和特征信息较多的文本赋予较高权值。由于6&7文本的数据量信息非常巨大,往往提取出来的特征向量的维数非常高,为了提高运行效率,需要对特征向量进行降维处理,仅保留权值较高的词条作为文档的特征项,从而形成维数较低的目标特征向量。

文本中出现较多的名字、术语、日期等都为区分文本的类型提供很好的线索,由于篇幅所限,以下我们仅以日期型的数据为例,给出其E%FDFG语言的特征提取算法。其余的算法将另文专述:

5(0&8H:;<5(0&"8H:B5(0&#8H:I5(0&"8H:;<J&()8H:@K,-0+8H:@5(J8H:IJ&()8H:;<2’J&()8L#@L":@MIJ&()8H:;<2’J&()8LN@LO:IK,-0+8H:;<2’K,-0+81#:@MIK,-0+8H:;<2’K,-0+81":I5(J8H:;<2’5(J8P#:@MI

图"

收稿日期;#$$#<$#<"$

基金项目;江苏省应用基础研究计划项目

基于web的文本挖掘研究

第1页

你可能喜欢

  • 网络设计
  • 操作手册
  • 语义分析
  • 数据挖掘研究现状
  • 云计算学习
  • 生物医学

热门文档

相关文档

  • 【论文】基于Web的文本挖掘的研究

    基于Web的文本挖掘的研究 基于web的文本挖掘是文本挖掘的一个重要的组成部分,本文对文本挖掘的主要过程如文本预处理、特征表示、特征提取等进行了讨论。基于web的...

  • 基于Web的文本挖掘研究

    基于Web的文本挖掘研究基于Web的文本挖掘研究隐藏>> #$$# 年第 "$ 期 微电子学与计算机 !" 基于 !"# 的文本挖掘研究 %&’&()*+ ,- .&/0 12-2-3...

  • 【论文】基于Web文本挖掘相关技术的研究

    基于Web文本挖掘相关技术的研究_专业资料。随着近年来互联网的飞速发展,如何在浩如烟海的文本信息中挖掘潜在的知识和规律是一个急需解决的问题。Internet上的信息主要是...

  • 基于Web的文本挖掘技术研究

    2007 COMPU TER TECHNOLO GY AND DEV ELOPM EN T 基于 Web 的文本挖掘技术研究许高建1 ,2 ( 1. 合肥工业大学 计算机与信息学院 ,安徽 合肥 230009 ; 2. ...

  • 【论文】基于Web文本的灾害信息挖掘研究进展

    基于Web文本的灾害信息挖掘研究进展_专业资料。Web文本中蕴含着丰富的以自然语言描述的非结构灾害信息和知识。基于Web文本自动提取和构造结构化、综合性灾害信息,是灾害...

  • 基于Web的文本挖掘

    基于Web的文本挖掘_工学_高等教育_教育专区。基于Web的文本挖掘基于...挖掘, 检索.陈泓婕, 博士, 主要研究方向: 数据挖掘.刘宁, 硕士, 主要研究...

  • 基于WEB文本数据挖掘的研究

    基于WEB文本数据挖掘的研究_IT/计算机_专业资料 暂无评价0人阅读0次下载举报文档 基于WEB文本数据挖掘的研究_IT/计算机_专业资料。基于WEB文本数据挖掘的研究...

  • 【论文】基于Web文本挖掘的企业竞争情报获取方法研究

    基于Web文本挖掘的企业竞争情报获取方法研究_专业资料。本文从Web数据挖掘方法入手,介绍了企业竞争情报的获取方法,包括基于Web内容挖掘的获取方法、基于Web结构挖掘的获...

  • 基于Web的文本分类挖掘的研究

    基于web的文本分类挖掘研究基于web的文本分类挖掘研究隐藏>> 论文编码:TP181 首都师范大学学士学位论文 基于 Web 的文本分类挖掘的研究 院专年学 系级号 信息工程...

  • 基于Web文本挖掘中的一种中文分词算法研究

    基于Web文本挖掘中的一种中文分词算法研究 基于Web文本挖掘问题,提出了一种改进的索引结构的词库组织体系及基于该词典结构的中文分词算法。同时,加强消除歧义方面的处理...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email