文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 数据挖掘技术及其应用现状
侵权投诉

数据挖掘技术及其应用现状

科技信息○IT论坛○SCIENCE&TECHNOLOGYINFORMATION2009年第33期

数据挖掘技术及其应用现状

吴全胜1马敏2

(1.山东财政学院计算机信息工程学院山东济南250014;2.山东财政学院教学实验中心山东济南250014)

【摘要】阐述了数据挖掘的含义、作用、方法以及步骤,分析了数据挖掘技术的实施步骤和应用现状,并指出其存在的问题和解决方案。【关键词】数据挖掘;聚类;数据库

近十几年,随着科学技术飞速的发展,经济和社会都取得了极大的进步,与此同时,在各个领域产生了大量的数据,如人类对太空的探索,银行每天的巨额交易数据。显然在这些数据中丰富的信息,如何处理这些数据得到有益的信息,人们进行了有益的探索。计算机技术的迅速发展使得处理数据成为可能,这就推动了数据库技术的极大发展,但是面对不断增加如潮水般的数据,人们不再满足于数据库的查询功能,提出了深层次问题:能不能从数据中提取信息或者知识为决策服务。就数据库技术而言已经显得无能为力了,同样,传统的统计技术也面临了极大的挑战。这就急需有新的方法来处理这些海量般的数据。于是,人们结合统计学、数据库、机器学习等技术,提出数据挖掘来解决这一难题。

1.数据挖掘的含义和作用

数据挖掘的历史虽然较短,但从20世纪90年代以来,它的发展速度很快,加之它是多学科综合的产物,目前还没有一个完整的定义,人们提出了多种数据挖掘的定义,例如:

SAS研究所(1997):“在大量相关数据基础之上进行数据探索和建立相关模型的先进方法”。

Bhavani(1999):“使用模式识别技术、统计和数学技术,在大量的数据中发现有意义的新关系、模式和趋势的过程”。

Handetal(2000):“数据挖掘就是在大型数据库中寻找有意义、有价值信息的过程”。

我们认为:数据挖掘就是从海量的数据中挖掘出可能有潜在价值的信息的技术。这些信息是可能有潜在价值的,支持决策,可以为企业带来利益,或者为科学研究寻找突破口。

现今资料流通量之巨大已到了令人咂舌地步,就实际限制而言,便遇到了诸如巨量的纪录,高维的资料增加的传统分析技术上的困难,搜集到的资料仅有5%至10%用来分析,以及资料搜集过程中并不探讨特性等问题,这就让我们不得不利用DataMining技术。

据可能是不完全的、有噪声的、随机的,有复杂的数据结构,维数大。最后,数据挖掘是许多学科的交叉,运用了统计学,计算机,数学等学科的技术。以下是常见和应用最广泛的算法和模型:

3.1传统统计方法:①抽样技术:我们面对的是大量的数据,对所有的数据进行分析是不可能的也是没有必要的,就要在理论的指导下进行合理的抽样。②多元统计分析:因子分析,聚类分析等。③统计预测方法,如回归分析,时间序列分析等。

3.2可视化技术:用图表等方式把数据特征用直观地表述出来,如直方图等,这其中运用的许多描述统计的方法。可视化技术面对的一个难题是高维数据的可视化。

3.3决策树:利用一系列规则划分,建立树状图,可用于分类和预测。常用的算法有CART、CHAID、ID3、C4.5、C5.0等。

3.4神经网络:模拟人的神经元功能,经过输入层,隐藏层,输出层等,对数据进行调整,计算,最后得到结果,用于分类和回归。

3.5遗传算法:基于自然进化理论,模拟基因联合、突变、选择等过程的一种优化技术。

3.6关联规则挖掘算法:关联规则是描述数据之间存在关系的规则,形式为“A1∧A2∧…An→B1∧B2∧…Bn”。一般分为两个步骤:①求出大数据项集。②用大数据项集产生关联规则。

除了上述的常用方法外,还有粗集方法,模糊集合方法,BayesianBeliefNetords,最邻近算法(k-nearestneighborsmethod(kNN))等。

4.数据挖掘的实施步骤

前面我们讨论了数据挖掘的定义,方法和工具,现在关键的问题是如何实施,其一般的步骤如下:

问题理解和提出→数据准备→数据整理→建立模型→评价和解释

4.1问题理解和提出:在开始数据挖掘之前最基础的就是理解数据和实际的业务问题,在这个基础之上提出问题,对目标有明确的定义。

4.2数据准备:获取原始的数据,并从中抽取一定数量的子集,建立数据挖掘库,其中一个问题是如果企业原来的数据仓库满足数据挖掘的要求,就可以将数据仓库作为数据挖掘库。

4.3数据整理:由于数据可能是不完全的、有噪声的、随机的,有复杂的数据结构,就要对数据进行初步的整理,清洗不完全的数据,做初步的描述分析,选择与数据挖掘有关的变量,或者转变变量。

4.4建立模型:根据数据挖掘的目标和数据的特征,选择合适的模型。

4.5评价和解释:对数据挖掘的结果进行评价,选择最优的模型,作出评价,运用于实际问题,并且要和专业知识结合对结果进行解释。

以上的步骤不是一次完成的,可能其中某些步骤或者全部要反复进行。

2.数据挖掘的功能

数据挖掘综合了各个学科技术,有很多的功能,当前的主要功能如下:

2.1分类:按照分析对象的属性、特征,建立不同的组类来描述事物。例如:银行部门根据以前的数据将客户分成了不同的类别,现在就可以根据这些来区分新申请贷款的客户,以采取相应的贷款方案。

2.2聚类:识别出分析对内在的规则,按照这些规则把对象分成若干类。例如:将申请人分为高度风险申请者,中度风险申请者,低度风险申请者。

2.3关联规则和序列模式的发现:关联是某种事物发生时其他事物会发生的这样一种联系。例如:每天购买啤酒的人也有可能购买香烟,比重有多大,可以通过关联的支持度和可信度来描述。与关联不同,序列是一种纵向的联系。例如:今天银行调整利率,明天股市的变化。

2.4预测:把握分析对象发展的规律,对未来的趋势做出预见。例如:对未来经济发展的判断。

2.5偏差的检测:对分析对象的少数的、极端的特例的描述,揭示内在的原因。例如:在银行的100万笔交易中有500例的欺诈行为,银行为了稳健经营,就要发现这500例的内在因素,减小以后经营的风险。需要注意的是:数据挖掘的各项功能不是独立存在的,在数据挖掘中互相联系,发挥作用。

5.数据挖掘应用现状

数据挖掘所要处理的问题,就是在庞大的数据库中找出有价值的隐藏事件,并且加以分析,获取有意义的信息,归纳出有用的结构,作为企业进行决策的依据。其应用非常广泛,只要该产业有分析价值与需求的数据库,皆可利用Mining工具进行有目的的发掘分析。常见的应用案例多发生在零售业、制造业、财务金融保险、通讯及医疗服务:

5.1商从顾客购买商品中发现一定的关系,提供打折购物券等,提高销售额

5.2保险公司通过数据挖掘建立预测模型,辨别出可能的欺诈行为,避免道德风险,减少成本,提高利润

5.3在制造业中,半导体的生产和测试中都产生大量的数据,就必

3.数据挖掘的方法及工具

作为一门处理数据的新兴技术,数据挖掘有许多的新特征。首先,数据挖掘面对的是海量的数据,这也是数据挖掘产生的原因。其次,数

447

第1页

你可能喜欢

  • 数据挖掘研究现状
  • 数据挖掘简介
  • 十大数据挖掘算法
  • 上市公司的财务危机预警
  • 数据仓库实例
  • 数据挖掘发展
  • 数据挖掘论文
  • 数据挖掘应用

热门文档

相关文档

  • 数据挖掘技术及其应用现状

    数据挖掘技术及其应用现状 近十几年,随着科学技术飞速的发展,经济和社会都取得了极大的进步,与此同 时,在各个领域产生了大量的数据,如人类对太空的探索,银行每天...

  • 数据挖掘技术及其应用现状

    维普资讯 http://www.cqvip.com 数据 挖掘技 术及 其应用 现状 王斌会 ( 暨南大学 经济学院 , 广州 503)162 摘 要: 文对数据挖掘技 术进行 了回顾 ,本...

  • 数据挖掘技术及其应用现状_王斌会

    数据挖掘技术及其应用现状 王斌会 (暨南大学经济学院,广州,510632)摘要:本文对数据挖掘技术进行了回顾,介绍了目前在数据挖掘中常用的方法和工具,列举 了 它的一些...

  • 数据挖掘技术及其应用

    数据挖掘技术已经涉及市场分析、欺诈检测、科学研究、顾客保有等多个方面,正在蓬勃发展。本文主要讨论数据挖掘技术的一些基本概念及其应用情况。隐藏>> 信息技术 数据...

  • 浅谈数据挖掘技术现状

    浅谈数据挖掘技术现状肖健 1 沈彩霞 2 (1.广西计算中心,广西南宁 530022; 2...数据挖掘作为数据库应用的延伸, 使数据库应用的到更广泛的应用。 本文简单的...

  • 数据挖掘技术及其应用现状探析

    数据挖掘技术及其应用现状探析数据挖掘技术及其应用现状探析隐藏>> 电脑应用技术 二零零七总第六十九期 数据挖掘技术及其应用现状探析? 王锐 马德涛 陈晨解放军信息...

  • 浅谈数据挖掘技术及其研究现状

    挖掘的概念 、过程与系统构成 , 其次从数据挖掘的研究方法和应用角度论述了数据挖掘的 研究现状 , 其中着重论述了目前的热点研究方向 ——— Web 挖掘的流程与分类...

  • 海量数据挖掘的关键技术及应用现状

    一、海量数据挖掘关键技术随时代而变化 所谓海量数据挖掘,是指应用一定的算法,从海量的数据中发现有用的信息和知识。海 量数据挖掘关键技术主要包括海量数据存储、云...

  • 数据挖掘技术及其应用

    23 N o. 2 l 2000 数据挖掘技术及其应用吉根林1, 3 , 帅克2 , 孙志挥...数据挖掘系统的理想情况是一个自治的学习 A gen t, 自动地探索有用的和令人...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email