文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 自然科学 > 数学 > k_means聚类算法的MapReduce并行化实现
侵权投诉

k_means聚类算法的MapReduce并行化实现

第39卷 增刊Ⅰ

年 6月 2011华中科技大学学报(自然科学版)

)J.HuazhonUniv.ofSci.&Tech.(NaturalScienceEdition   g 

Vol.39Su.Ⅰp

un.011 J 2

k-means聚类算法的MaReduce并行化实现p

江小平1 李成华1 向 文2 张新访2 颜海涛3

(1中南民族大学电子信息工程学院,湖北武汉430074;2华中科技大学计算机科学与技术

)学院,湖北武汉430074;3中国移动通信集团湖北有限公司业务支撑中心,湖北武汉430040

摘要 针对k-m给出了Means聚类算法特点,aReduce编程模型实现k-means聚类算法的方法,Mapp函数完成每个记录到聚类中心距离的计算并重新标记其属于的新聚类类别,Reduce函数根据Map函数得到的中间结果计算出新的聚类中心,供下一轮M实验结果表明:aReduceJob使用.k-means算法MaReduce并行化后 pp具有较好的加速比和良好的扩展性.部署在Hadoop集群上运行,

关键词 云计算;并行计算;MaReduce模型;数据挖掘;k-means聚类算法p

()中图分类号 TP301  文献标志码 A  文章编号 167145122011S1012005---

Parallelimlementink-meansclusterinalorithm  pggg  

roramminusinMaReducemode pgggp  

11223

JianXiaoiniChenhuaianWenhanXinanYan Haitao  X Zg pg Lgg g fg 

(,,Wu1ColleeofElectronicsandInformationEnineerinSouthentralUniversitforNationalitieshan     -C  gggy ;,H,430074,China2SchoolofComuterScienceandTechnolouazhonUniversitofScienceandTechnolo        pgygygy  ;,,Wu)Wuhan430074,China3BusinessSuortCenterChinaMobileGrouHubeiCo.Ltd.han430040,China       ppp 

roramminAbstractowtoimlementthek-meansclusterinalorithmusinMaReducemode H       pggpgggp   studied.ThedistancebetweeneachointandeachclusterwascalculatedandnewcenterIDwaswas               p

assinedtoeachintheMafunction.Alltheofthesamekevalue(currentclusterID)ointoints              gpypp  weresenttoasinlereducerandetthenewclustercentroidsforthenextMaReduceJob.Theex                 -ggperimentsontheHadoolatformshownsbasicalllinearseeduwithanincreasinnumberofnode          pppyppg    comutersandoodscalabilit.   pgy

;;M;;arallelroramminKewordsloudcomutincomutinaReducemodedataminink c    -ppggpgpgpgy  

meansclusterinalorithm gg 

  随着信息技术的进步以及信息化社会的发

展,聚类计算任务所面临的数据规模越来越大,k-其串行means算法是一种常用的数据挖掘算法,计算方法的时间复杂度比较高,处理能力存在局传统高性能计算中的并行编程模型(如限性.

,MP抽象度不高,开发PThreadI和OenMP等)p人员需要熟悉底层的配置和并行实现细节.

1]

模型[是GMaReduceoole实验室提出的分布pg

式并行编程模型或框架,它能组织集群来处理大

成为云计算平台主流的并行数据处规模数据集,

[2]

理模型.Aache开源社区的Hadoopp项目用

同时Hadooava语言实现了该模型,p项目还设j

计了开放源代码的云计算技术平台.云计算技术

]34-

,文献[则对在多核集群上以国内已有研究[5]

的方式实现机器学习算法进行了研MaReducep究.本文在基于Hadoop技术的云计算基础平台

上,研究了k-means聚类算法的MaReduce并行p编程实现方法,并进行了相关实验.

收稿日期 20110315.--

,:作者简介 江小平(男,博士,1974E-mailianxail.scuec.edu.cn.-)@mjgp

);武汉市科技攻关项目(;华基金项目 中央高校基本科研业务费专项资金资助项目(CZY11002201110821229)

中科技大学暨湖北省移动通信公司TDSCDMA联合创新实验室创新基金资助项目.-

第1页

你可能喜欢

热门文档

相关文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email