数据挖掘
2008年第6期福建电脑
7
数据挖掘技术分析及应用
王剑平,李强娇
(重庆邮电大学企业信息化研究所重庆400065)
【摘要l:数据挖掘是一个新兴的、多学科交叉的应用领域,具有广嗣的应用前景,并面临着极大的挑战。文中简要
介绍了数据挖掘的概念和过程,从数据库技术、机器学>-j和人工智能3个方面对教据挖掘技术进行分析,并结合具体实
例讲述了数据挖掘的实际应用,最后提出其所面临的挑战。
【关键词l:数据挖掘;过程模型;模式识别;关联规则;应用
l、引言
近年来.随着计算机硬件技术的进步以及数据库技术的成熟和普及.人类在各个领域积累的数据量正在以指数方式增长。早在1982年.约翰 奈斯比(JohnNaisbitt)就在他的<大趋势>(Megatrends)一书中说到:”人类正被信息淹没,却饥渴于知识。”当全球向信息化社会迈进之际。人们将面临着新的技术挑战,如何不被信息的”海洋”所淹没?如何能够迅速地从海量信息中获取有用数据?这就需要人们去寻找一种去粗取精.去伪存真的能从海量的数据中找到对人们有用的知识的技术.而传统的数据处理方式越来越不能满足人们的需求。数据挖掘(datamining,DM)由此孕育而生。2、什么是数据挖掘2.1数据挖掘的概念
数据挖掘(DataMining)是指从大量的结构化和非结构化的数据中提取有用的信息和知识.揭示有意义的新的关系、趋势和模式的过程.它是知识发现的有效手段。在这个定义中,要求数据源必须是大量的、真实的、含有噪声的:所发现的信息和知识是潜在的隐藏在大量数据背后的,人们事先不知道的.但又是用户感兴趣的、可理解的,可运用的。这一概念出现于20世纪80年代末.最早是以数据库中知识发现
(KnowledgeDiscoveryinDatabase。KDD)技术研究起步,KDD
图l中的数据仓库(dahawarehouse)是整个数据挖掘技术的基础,20世纪80年代中期,数据仓库之父InnlonWH.在他的《建立数据仓库>(BuildingtheDataWarehouse)书中定义了数据仓库的概念.随后给出精确定义:数据仓库是为支持管理决策建立的,面向主题的、集成的、时变的以及非易失的数据集合。图l所示过程模型是一个高级处理过程.它从数据集中识别出以模式来表示的知识。它包含多个处理步骤,各个步骤之间相互影响,反复调整.形成一种螺旋式的上升过程。3、主要数据挖掘技术
数据挖掘技术的分类方法很多,目前,经常将数据挖掘技术分为统计分析类、知识发现类和其他类型的数据挖掘技术三大类。有时.也将数据挖掘技术分为预测性模式和知识性模式
driven)两大类叫。
的验证驱动(Verification出yen)和发现驱动(Discovery—
验证驱动的数据挖掘是通过数据库中的一些属性来预测另一个属性,它在验证用户提出的假设的过程中提取信息.一般包括统计分析、查询和报告等。发现驱动的数据挖掘技术的关键是进行模式识别和关系识别的算法。一般包括关联规则发现、数据分类、聚类分析、数据泛化和归纳、偏差分析等。
(1)关联规则
关联规则就是描述在一个事务中物品之间同时出现的规律的知识模式。即同一事件中出现的不同项之间的相关性。比如顾客在一次购买活动中所买不同商品之间的相关性。
设物品集,=,,以…。L7其中的元索成为项,事务集D=
一词是在1989年举行的第11届国际联合人工智能学术会议上提出的。直到1995年。人们才在美国计算机年会(Association
ComputingMachinery,ACM)上首次提出数据挖掘的概念.Iq2.2数据挖掘的过程
for
m,死…,列,其中每一个事务r是一组物品。显然r∈,。一条
关联规则是形如X昔l,的蕴含关系式。其中Xc‘yCl,且Xny=p。规则Xjl,在事务集D中的支持度是D中包含X和y的事务数和所有事务数之比。记为supportⅨjy)=l{T:XUy∈钉,7.∈DI/IDI。可信度是指事务集D中包含X和y的事务数与
尽管数据挖掘概念正式出现的时间并不长.但是其核心技术伴随着企业信息化的进程历经了数十年的发展。作为一门交叉性学科。它融合了数据库技术、人工智能、机器学习、模式识别、统计数据分析、神经网络、数据可视化、信息检索等多个领域的理论和方法。
在实施数据挖掘之前.首先要确定挖掘的任务和目的是什么、采取什么样的步骤、每一步作什么、达到什么样的目标是必要的。因此.人们提出要形成通用的数据挖掘过程模型标准.来指导人们更好的研究、开发和使用数据挖掘技术。数据挖掘是数据库中知识发现(Knowledgediscoveryindatabase。KgD)的核心步骤(如图1所示),它包括数据准备、数据挖掘、结果解释和评估三个阶段。
包含X的事务数之比,记为conf批e俾jyJ=lIT..XUY£
r/,TeD∽乃X∈TED7I
挖掘关联模式问题就是产生支持度和可信度分别大于用户给定的最小支持度和最小可信度的关联规则。利用这些关联规则可以了解顾客的行为。如帮助改进超市货架的摆放(把顾客经常同时购买的商品摆放在一起),帮助如何规划市场(相互搭配送货)等。
(2)数据分类
数据分类是指分析数据库中的一组对象.找出其共同属性。然后根据分类模型,把它们划分为不同的类别。分类数据首先要建立分类模型.构造分类模型,需要一个训练样本数据集E(由一组数据库记录或元组组成,每个元组包含一些属性值)作为输入。每个训练样本还有一个类别标识。分类模型的构造方法有统计方法(贝叶斯法和非参数法)、神经网络方法(BP算法)、机器学习方法(决策树法和规则归纳法)等。数
。
图l数据挖掘一知识发现的核心步骤
据分类应用的例子有医疗专家诊断、性能预测和商店定位等。
基金项目:重庆市教委基础研究项目(K.1060507)
数据挖掘技术分析及应用 王剑平 .李强娇 r重 庆邮 电大学企 业信 息化 研...随着 计算机硬件 技术 的进 步 以及 数据库技术 的成 的基础.2的《立数据...
2008年第6期 福建电脑 7 数据挖掘技术分析及应用王剑平,李强娇(重庆邮电大学...2、什么是数据挖掘 2.1数据挖掘的概念 数据挖掘(DataMining)是指从大量的结构...
15 2.45 数据挖掘技术亚马逊个性化服务中的应用???16 2.5 数据挖掘在电子商务中的应用分析——资源优化???18 2.51 资源优化的意义???18 2.52 数据挖掘在...
同济大学 硕士学位论文 数据挖掘技术在税收分析中的应用 姓名:李运祥 申请学位...的数据库系统;第二次发生于70~8()年代,代 表技术是数据的组织与应用、数据...
数据挖掘技术在教学评价中的应用研究2013年2期_工学_高等教育_教育专区。2013...将数据挖掘技术应用到教学评价数据分析过程中,验证了基于该技 术的属性约简算法...
数据挖掘的分析技术在金融,保险,电 信等 有大量数据的行业已有着广泛的应用. ...2 数据挖掘的定义 数据挖掘(Data Mining),又称数据库中的知识发现 (Knowledge ...
1.3 评价输出结果一般来说,数据挖掘的搜索过程需要反复多次,当分析人员评 价...2 数据挖掘应用 2.1 数据挖掘在实现网站用户偏好度的应用数据挖掘就是从大量的...
案例分析 数据挖掘是多学科的产物 数据库技术 统计学 机器学习 数据 挖掘高性能...?2、统计学具有某种保守性,它倾向亍尽 量地避免出现特殊斱法的运用,而偏好亍...
大数据时代的数据挖掘技术与应用_李平荣_互联网_IT/计算机_专业资料。2014 年...2.4 人工神经网络 神经网络通过复杂的大批量数据进行分析,实 现对于计算机或...
数据挖掘在商业数据分析中的应用_企业管理_经管营销_专业资料。本文主要介绍...二、数据挖掘技术的商业需求分析数据挖掘之所以吸引专家学者的研究兴趣和引起商业...
热门文档