文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 自然科学 > 天文/地理 > 大数据下不完备信息系统近似空间的并行算法
侵权投诉

大数据下不完备信息系统近似空间的并行算法

ComputerEngineeringandApplications计算机工程与应用

大数据下不完备信息系统近似空间的并行算法

大数据下不完备信息系统近似空间的并行算法

大数据下不完备信息系统近似空间的并行算法

大数据下不完备信息系统近似空间的并行算法

大数据下不完备信息系统近似空间的并行算法

大数据下不完备信息系统近似空间的并行算法

大数据下不完备信息系统近似空间的并行算法

大数据下不完备信息系统近似空间的并行算法

2014,50(15)101

数据库、数据挖掘、机器学习

大数据下不完备信息系统近似空间的并行算法

姜麟,米允龙,王添

JIANGLin,MIYunlong,WANGTian

昆明理工大学理学院,昆明650500

FacultyofScience,KunmingUniversityofScienceandTechnology,Kunming650500,China

JIANGLin,MIYunlong,WANGTian.Parallelalgorithmforcomputingincompleteinformationsystemsunderbigdata.ComputerEngineeringandApplications,2014,50(15):101-106.

Abstract:Thelowerandupperapproximationsareimportantconceptsinroughsettheory.Therefore,thecomputationofapproximationsisthebasicforimprovingthemassivedataminingperformance.Classicalapproximationspacealgorithmisinfeasibleformassivedata,muchlessformassivedatawithmissinginformation.Tothisend,throughdeepanalysisofthecharacteristicsofmassivedatawithmissinginformation,combiningwiththeMapReduceprogrammingmodel,apar-allelalgorithmforcomputingincompleteinformationsystemsusingMapReduceisputforwardtodealwiththemassivedatawithmissinginformation.Theexperimentalresultsdemonstratethattheproposedparallelalgorithmiseffective.Keywords:MapReduce;datamining;massivedata;roughset;incompleteinformationsystem;approximations

摘要:上、下近似空间是粗糙理论的重要概念,解决上、下近似问题是海量数据挖掘的基础。经典的近似空间算法不适合处理海量数据,更不适合处理带缺失信息的海量数据问题。为此,通过深度分析带缺失信息的海量数据特征,结合MapReduce编程模型,提出了基于MapReduce框架下近似空间的并行算法,以处理带缺失信息的海量数据,实验结果表明了该并行算法的有效性。

关键词:MapReduce;数据挖掘;海量数据;粗糙集;不完备信息系统;近似空间

文献标志码:A中图分类号:TP311doi:10.3778/j.issn.1002-8331.1307-0255

1引言对于海量数据,传统的精确处理不再适用[1],更多的

随着大数据时代的来临,对海量数据进行挖掘已成是近似性处理。粗糙集理论是一种新的处理模糊和不为研究的热点。而大数据不只是海量的数据,拥有了海确定性知识的数学工具,目前成功应用于机器学习、决策量数据后,并且有能力进行处理和分析,挖掘出数据的分析、模式认别和数据挖掘等领域[6]。基于粗糙集理论,价值才可以获取数据的价值,从中获取真知[1]。面对如目前已提出许多处理海量数据的算法。如文献[7]对海何挖掘出海量数据的价值,Google公司提出了分布式文量数据的粗糙集近似空间并行算法的研究,文献[8-11]件系统GFS(GoogleFileSystem)[2]和MapReduce并行提出的各种处理海量数据的并行知识约简算法。然而,编程模式[3],这为数据挖掘提供了一个很好的平台。在以上都是基于未带缺失信息的海量数据,在实际应用此基础上,已有不少学者致力于相关研究,并取得了一中,很多数据是带有缺失信息的[12-13]。对于不完备的信定的效果。例如,文献[4]提出的基于MapReduce的Web息系统或带缺失信息的海量数据,往往可以采用集值信日志挖掘,文献[5]对在MapReduce框架下的分布式近息系统来处理[13]。同时,传统的算法是假设所有数据一邻传播聚类算法的研究等。次性装入到内存中去,但这并不适用于海量数据。因基金项目:云南省教育厅基金(No.2010Y389)。

作者简介:姜麟(1966—),男,副教授,硕士生导师,主要研究领域:并行计算,智能计算;米允龙(1987—),通讯作者,男,硕士研究生,

主要研究领域:数据融合,并行数据挖掘。E-mail:myl812130182@163.com

收稿日期:2013-07-19修回日期:2013-10-23文章编号:1002-8331(2014)15-0101-06

CNKI网络优先出版:2013-12-19,doc.guandang.net

第1页

你可能喜欢

热门文档

相关文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email