ComputerEngineeringandApplications计算机工程与应用








2014,50(15)101
数据库、数据挖掘、机器学习
大数据下不完备信息系统近似空间的并行算法
姜麟,米允龙,王添
JIANGLin,MIYunlong,WANGTian
昆明理工大学理学院,昆明650500
FacultyofScience,KunmingUniversityofScienceandTechnology,Kunming650500,China
JIANGLin,MIYunlong,WANGTian.Parallelalgorithmforcomputingincompleteinformationsystemsunderbigdata.ComputerEngineeringandApplications,2014,50(15):101-106.
Abstract:Thelowerandupperapproximationsareimportantconceptsinroughsettheory.Therefore,thecomputationofapproximationsisthebasicforimprovingthemassivedataminingperformance.Classicalapproximationspacealgorithmisinfeasibleformassivedata,muchlessformassivedatawithmissinginformation.Tothisend,throughdeepanalysisofthecharacteristicsofmassivedatawithmissinginformation,combiningwiththeMapReduceprogrammingmodel,apar-allelalgorithmforcomputingincompleteinformationsystemsusingMapReduceisputforwardtodealwiththemassivedatawithmissinginformation.Theexperimentalresultsdemonstratethattheproposedparallelalgorithmiseffective.Keywords:MapReduce;datamining;massivedata;roughset;incompleteinformationsystem;approximations
摘要:上、下近似空间是粗糙理论的重要概念,解决上、下近似问题是海量数据挖掘的基础。经典的近似空间算法不适合处理海量数据,更不适合处理带缺失信息的海量数据问题。为此,通过深度分析带缺失信息的海量数据特征,结合MapReduce编程模型,提出了基于MapReduce框架下近似空间的并行算法,以处理带缺失信息的海量数据,实验结果表明了该并行算法的有效性。
关键词:MapReduce;数据挖掘;海量数据;粗糙集;不完备信息系统;近似空间
文献标志码:A中图分类号:TP311doi:10.3778/j.issn.1002-8331.1307-0255
1引言对于海量数据,传统的精确处理不再适用[1],更多的
随着大数据时代的来临,对海量数据进行挖掘已成是近似性处理。粗糙集理论是一种新的处理模糊和不为研究的热点。而大数据不只是海量的数据,拥有了海确定性知识的数学工具,目前成功应用于机器学习、决策量数据后,并且有能力进行处理和分析,挖掘出数据的分析、模式认别和数据挖掘等领域[6]。基于粗糙集理论,价值才可以获取数据的价值,从中获取真知[1]。面对如目前已提出许多处理海量数据的算法。如文献[7]对海何挖掘出海量数据的价值,Google公司提出了分布式文量数据的粗糙集近似空间并行算法的研究,文献[8-11]件系统GFS(GoogleFileSystem)[2]和MapReduce并行提出的各种处理海量数据的并行知识约简算法。然而,编程模式[3],这为数据挖掘提供了一个很好的平台。在以上都是基于未带缺失信息的海量数据,在实际应用此基础上,已有不少学者致力于相关研究,并取得了一中,很多数据是带有缺失信息的[12-13]。对于不完备的信定的效果。例如,文献[4]提出的基于MapReduce的Web息系统或带缺失信息的海量数据,往往可以采用集值信日志挖掘,文献[5]对在MapReduce框架下的分布式近息系统来处理[13]。同时,传统的算法是假设所有数据一邻传播聚类算法的研究等。次性装入到内存中去,但这并不适用于海量数据。因基金项目:云南省教育厅基金(No.2010Y389)。
作者简介:姜麟(1966—),男,副教授,硕士生导师,主要研究领域:并行计算,智能计算;米允龙(1987—),通讯作者,男,硕士研究生,
主要研究领域:数据融合,并行数据挖掘。E-mail:myl812130182@163.com
收稿日期:2013-07-19修回日期:2013-10-23文章编号:1002-8331(2014)15-0101-06
CNKI网络优先出版:2013-12-19,doc.guandang.net
绝对信息量不完备信息系统的数据补齐算法_自然科学_专业资料。绝对信息量不完备...理由猜测, 一 般情况下, 真实的完备的信息系统, 它的绝对信息量应该是最 大...
性的不完备信息系统,也适用于不一致性的不完备信息系统,并提出了一种基于下近似二进制可辨矩阵直接求取不完备信息系统的属性核和属性约简的算法,实验表明算法简单...
相结 合,提出了一种新的不完备信息系统约简算法。... 如果所面临的最终任务是机器学习或从数据 库中发现...( AT ) 定义 7 设〈U,C〉是一个覆盖近似空间,...
基于量化相似关系的不完备决策信息系统的完备化算法_专业资料。由于不完备信息...关系的量化值为尺度,并考虑决策规则的相容性对不完备决策信息系统的缺省数据进行...
西北工业大学 自动化学院 , 西安 710072; 2. 西安测绘研究所 , 西安 710054 ) 摘 : 根据分层递阶约简算法 ,提出了一种直接在不完备信息系统上进行数据挖掘的...
中的不同个体贡献,引入粗糙集的近似度概念,结合属于,不属于集合%九的元素贡献的不确定性,定义一种新的知识熵,从而实现基于近似度的不完备信息系统属性约简算法。...
不完备信息系统的数据挖掘方法研究_专业资料。根据分层递阶约简算法,提出了一种直接在不完备信息系统上进行数据挖掘的方法。该方法首先将信息系统中由所有属性构成的...
基于加权Bayes分类算法的不完备信息系统数据挖掘研究_专业资料。基于相似粗集理论模型,对加权朴素Bayes算法进行了扩展,同时改进了传统不完备信息系统中缺失信息的弥补...
2003206226 基于信息量的不完备信息系统属性约简黄 1...启发知识设计了数据表的属性约简算法和以 属性相对...上下近似进行空值填充和规则提取算法 ,但该算法在空...
不完备信息系统的动态约简算法研究_专业资料。属性约简是基于粗糙集的数据挖掘方法中最重要的思想和算法,采用经典的数据分析工具得到最小约简是一个NP问题,由此产生...
热门文档