文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 计算机软件及应用 > 数据挖掘取样方法研究
侵权投诉

数据挖掘取样方法研究

46计算机研究与发展2011,48(1)

近几十年来。随着数据库技术迅速发展和广泛应用,数据库中存储的数据最急剧增大.在数据挖掘领域中,除了研究时空有效性不断提高的挖掘算法外,还必须采取相应的技术方法降低所处理的数据规模.特别是近年来数据流广泛出现在众多领域,例如网络监测、通信数据管理、Web应用、金融服务等,这些数据流以极大量、快速、时变的形式持续到达,要求单遍扫描,且一经处理不能被再次提取或者再次提取代价昂贵.由此产生了一些基础性的新研究问题,如概要数据结构的设计和动态维护、数据流挖掘取样技术研究等.

取样是最通用有效的近似技术,以其在处理大规模数据集中表现出的良好性能而得到了广泛深入的研究Ll‘1引.在保证一定精确度的前提下,取样方法显著减小了所处理数据集的规模,使得众多数据挖掘算法得以应用到大数据集以及数据流数据上.目前数据流挖掘技术的研究核心是概要结构设计,常用的概要结构设计方法有Hash方法、直方图方法、取样方法和小波方法等.由于取样方法良好的伸缩性和灵活性使其成为构建数据流概要的一个非常重要的方法.

年从VLDB,SIGKDD,SIGMOD和ICDE中出现的论文Ll“18。2叫均采用了取样技术,验证了取样技术应用的流行.

1.1取样方法的分类

图1是数据挖掘领域中代表性取样方法的分

类图.

根据各数据项被选中的概率是否相同,取样方法可以分成均匀取样和偏倚取样两种.顾名思义,在均匀取样中各数据项以相同的概率被选中,而在偏倚取样中,不同元素的入选概率可能不同.

一个取样设计被称为均匀取样设计,如果在这个取样设计内由数据集D产生的任一取样集S的概率为P(S;D),当S,S7∈D,I

SI=IS7

I时,会满足

P(S;D)一p(S’;D).也就是说,所有相同尺寸的取样能以相同的取样概率产生并且是相互雷同的.均匀取样方法有两种经典的取样设计:伯努利取样

(Bernoulli

sampling)[3’21]和水库取样(reservoir

sampling)[1],它们是所有其他取样方法的基础.

在Bernoulli取样设计过程中,用概率q∈(0,1]包含每个到达的数据元素,用概率1一q独立排除其他的数据元素.在这类Bernoulli设计中的相关取样概率为p(S;D)=q15I(1一口)……,可见伯努利取

1数据挖掘取样方法

抽样是一种经典的统计技术,已被研究了过百年的历史,尤其是随机抽样技术,已有许多基本原理(诸如中心极限定理、Chemoff、Hoeffding和Chebyshev界等Ez-s])描述了随机抽样的有效性.在数据管理领域,取样通过抽取能捕捉数据基本特征的小部分数据子集来代表总数据集,并根据该样本集获得近似查询结果,或基于该样本集进行数据挖掘等.I=作.近

样是均匀的,其主要优点是取样过程简单和时间成本低.

水库取样单遍扫描数据集,生成均匀取样集.令样本集大小为K,当第1"1个元素到达时(行>K),数据流中的元素都以K/.的概率被选取.如果样本集大小超出K,则从中随机去除一个样本,各元素的入选概率相同.VitterⅢ推荐了一个技巧来提高算法效率.在原算法中,对于流中的每个元素都需要“扔骰子”,判断该元素是否以K/.概率被选中,改

Fig.1

Classificationofrepresentativesamplingmethods

on

dataruing

图1

数据挖掘中代表性取样方法分类网

上一页第2页

热门文档

相关文档

  • 数据挖掘取样方法研究

    计算机研究与发展JournalofComputerResearchandDevelopment ISSN 1000—1239〔CN 1卜1777/TP48(1):45-54,2011 数据挖掘取样方法研究胡文瑜h2 孙志挥1 吴英杰1’...

  • 数据挖掘取样方法研究

    龙源期刊网 http://www.qikan.com.cn 数据挖掘取样方法研究 作者:陈阳 来源:《城市建设理论研究》2013 年第 22 期 【摘要】本文阐述了数据挖掘的概念,数据...

  • 【论文】数据挖掘取样方法的衡量与选用研究

    数据挖掘取样方法的衡量与选用研究_专业资料。取样是一种通用有效的近似技术。在数据挖掘研究中,取样方法可显著减小所处理数据集的规模,使得众多数据挖掘算法得以应用...

  • 基于数据挖掘的科技监测方法研究

    基于仿真与数据挖掘的故障... 6页 2财富值 数据挖掘取样方法研究 13页 2...— 朱东华等 : 基于数据挖掘的科技监测方法研究① 主要分支领域专利情况 ,主要...

  • 基于数据挖掘的稽查选案方法研究

    基于仿真与数据挖掘的故障... 6页 2财富值 数据挖掘取样方法研究 13页 2财富值 数据挖掘取样方法研究 10页 免费 数据挖掘中数据预处理的方... 48页 1财富...

  • 数据挖掘方法在入侵检测中的应用研究

    硕士研究生,主要研究方向为数据挖掘、入侵检测.E-mail:zhouquan@iip.nju.edu....同时,M.Kubat等人提 出新的取样方法,去除冗余与分类边界上的样 本【6J,但这...

  • 数据挖掘中抽样技术的应用

    对该问题的研究 也将促进统计学抽样调查理论方法的发展和完善。 静态抽样也称单...数据挖掘中运用抽样技术要保证 减 实现两大目标: 提高整个数据挖掘过程的效率、 ...

  • 【论文】基于数据挖掘的高效取样方法对手机用户的周期...

    基于数据挖掘的高效取样方法对手机用户的周期运动模式的研究_教育学/心理学_人文社科_专业资料。第2 9 卷第1 1期 2013年1 1月 科技通报 BULLETIN 0F SCIENCE...

  • 抽样在数据挖掘中的应用

    首先对数据挖掘和抽样调查做了简要概述, 阐述了抽样在数据挖掘中的重要作 用; ...部分单位进行调查, 并据以对全部调查研究对象 作 出估计和推断的一种调查方法。...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email