计算机研究与发展
JournalofComputerResearchandDevelopment
ISSN
1000—1239[CN1卜1777/TP
48(1):45-54,2011
数据挖掘取样方法研究
胡文瑜h2
孙志挥1
吴英杰1’3
210096)
350108)350108)
1(东南大学计算机科学与工程学院南京2(福建T程学院计算机与信息科学系
福州
3(福州大学数学与计算机科学学院福州(huwenyu@fjut.edu.en)
StudyofSamplingMethods
Hu
on
Data
Mining
andStream
Mining
Wenyul”,SunZhihuil,WuYingjiel'3
ofComputerScienceandEngineering,SoutheastUniversity,Nanjing210096)
ofComputerandIt,cformationScience,FujianUniversityofTechnology。Fuzhou350108)
1(School
2(Department3(College
ofMathematicsandComputerScience。FuzhouUniversity,Fuzhou350108)
Abstractalgorithms
Samplingis
to
an
efficientandmostwidely—usedapproximationtechnique.Itenables
tO
lotsof
beappliedhugedatasetby
the
use
ofscalingdowndramaticallydatasetfordatamining
review,a
kind
oftaxonomic
frame
ofsampling
andstreaming
mining.Throughout
on
detailed
algorithmsbased
uniform
samplingand
biased
samplingis
presented;meanwhile,analysis,
as
comparisonsandevaluationsofrepresentativesamplingalgorithmssuchsampling,count
sampling,chain—sampling,DVsamplingand
SO
on
reservoirsampling,concise
performed.Due
to
are
the
limitationsofuniformsamplinginsomedetectionin
largemultidimensional
data
applications--queries
sets,and
clustering
withrelativelylOWselectivity,outlier
over
datastreamswithskewed
Zipffully
distribution,theimportanceofneedfordissertated.In
addition
and
to
usingbiasedsamplingmethodsin
thesescenariosis
in
data
listing
successful
to
applicationsofsamplingtechniquesnow,wesurvey
classicand
the
mining,
statisticsestimatingstreamminingup
applicationanddevelopmentof
such
as
samplingtechniques,especiallythosesampling,adaptive
traditional
sampling
samplingtechniquestwo—phase
are
progressive
sampling,stratified
tO
samplingetc.Finally,future
challengesanddirectionswithrespectKeywords
datastreamsampling
furtherdiscussed.
structure
datamining;uniformsampling;biasedsampling;datastream;synopsisdata
摘要取样是一种通用有效的近似技术.在数据挖掘研究中,取样方法可显著减小所处理数据集的规模,使得众多数据挖掘算法得以应用到大规模数据集以及数据流数据上.通过对应用于数据挖掘领域的代表性取样方法的比较研究和分析总结,提出了一个取样算法分类框架.在指出了均匀取样局限性的基础上阐述了某些应用场景中选用偏倚取样方法的必要性。综述了取样技术在数据挖掘领域的应用研究与应用发展,最后对数据流挖掘取样方法面临的挑战和发展方向进行了展望.关键词数据挖掘;均匀取样;偏倚取样;数据流;概要数据结构
中图法分类号TP311.13;TP391
收稿日期:2009—12—15;修回日期:2010-05—24
基金项目:国家自然科学基金项目(60873176);福建省教育厅科技项目(JA08161)
计算机研究与发展JournalofComputerResearchandDevelopment ISSN 1000—1239〔CN 1卜1777/TP48(1):45-54,2011 数据挖掘取样方法研究胡文瑜h2 孙志挥1 吴英杰1’...
龙源期刊网 http://www.qikan.com.cn 数据挖掘取样方法研究 作者:陈阳 来源:《城市建设理论研究》2013 年第 22 期 【摘要】本文阐述了数据挖掘的概念,数据...
数据挖掘取样方法的衡量与选用研究_专业资料。取样是一种通用有效的近似技术。在数据挖掘研究中,取样方法可显著减小所处理数据集的规模,使得众多数据挖掘算法得以应用...
基于仿真与数据挖掘的故障... 6页 2财富值 数据挖掘取样方法研究 13页 2...— 朱东华等 : 基于数据挖掘的科技监测方法研究① 主要分支领域专利情况 ,主要...
基于仿真与数据挖掘的故障... 6页 2财富值 数据挖掘取样方法研究 13页 2财富值 数据挖掘取样方法研究 10页 免费 数据挖掘中数据预处理的方... 48页 1财富...
硕士研究生,主要研究方向为数据挖掘、入侵检测.E-mail:zhouquan@iip.nju.edu....同时,M.Kubat等人提 出新的取样方法,去除冗余与分类边界上的样 本【6J,但这...
对该问题的研究 也将促进统计学抽样调查理论方法的发展和完善。 静态抽样也称单...数据挖掘中运用抽样技术要保证 减 实现两大目标: 提高整个数据挖掘过程的效率、 ...
基于数据挖掘的高效取样方法对手机用户的周期运动模式的研究_教育学/心理学_人文社科_专业资料。第2 9 卷第1 1期 2013年1 1月 科技通报 BULLETIN 0F SCIENCE...
首先对数据挖掘和抽样调查做了简要概述, 阐述了抽样在数据挖掘中的重要作 用; ...部分单位进行调查, 并据以对全部调查研究对象 作 出估计和推断的一种调查方法。...
热门文档