第39卷 增刊Ⅰ
年 6月 2011华中科技大学学报(自然科学版)
)J.HuazhonUniv.ofSci.&Tech.(NaturalScienceEdition g
Vol.39Su.Ⅰp
un.011 J 2
k-means聚类算法的MaReduce并行化实现p
江小平1 李成华1 向 文2 张新访2 颜海涛3
(1中南民族大学电子信息工程学院,湖北武汉430074;2华中科技大学计算机科学与技术
)学院,湖北武汉430074;3中国移动通信集团湖北有限公司业务支撑中心,湖北武汉430040
摘要 针对k-m给出了Means聚类算法特点,aReduce编程模型实现k-means聚类算法的方法,Mapp函数完成每个记录到聚类中心距离的计算并重新标记其属于的新聚类类别,Reduce函数根据Map函数得到的中间结果计算出新的聚类中心,供下一轮M实验结果表明:aReduceJob使用.k-means算法MaReduce并行化后 pp具有较好的加速比和良好的扩展性.部署在Hadoop集群上运行,
关键词 云计算;并行计算;MaReduce模型;数据挖掘;k-means聚类算法p
()中图分类号 TP301 文献标志码 A 文章编号 167145122011S1012005---
Parallelimlementink-meansclusterinalorithm pggg
roramminusinMaReducemode pgggp
11223
JianXiaoiniChenhuaianWenhanXinanYan Haitao X Zg pg Lgg g fg
(,,Wu1ColleeofElectronicsandInformationEnineerinSouthentralUniversitforNationalitieshan -C gggy ;,H,430074,China2SchoolofComuterScienceandTechnolouazhonUniversitofScienceandTechnolo pgygygy ;,,Wu)Wuhan430074,China3BusinessSuortCenterChinaMobileGrouHubeiCo.Ltd.han430040,China ppp
roramminAbstractowtoimlementthek-meansclusterinalorithmusinMaReducemode H pggpgggp studied.ThedistancebetweeneachointandeachclusterwascalculatedandnewcenterIDwaswas p
assinedtoeachintheMafunction.Alltheofthesamekevalue(currentclusterID)ointoints gpypp weresenttoasinlereducerandetthenewclustercentroidsforthenextMaReduceJob.Theex -ggperimentsontheHadoolatformshownsbasicalllinearseeduwithanincreasinnumberofnode pppyppg comutersandoodscalabilit. pgy
;;M;;arallelroramminKewordsloudcomutincomutinaReducemodedataminink c -ppggpgpgpgy
meansclusterinalorithm gg
随着信息技术的进步以及信息化社会的发
展,聚类计算任务所面临的数据规模越来越大,k-其串行means算法是一种常用的数据挖掘算法,计算方法的时间复杂度比较高,处理能力存在局传统高性能计算中的并行编程模型(如限性.
,MP抽象度不高,开发PThreadI和OenMP等)p人员需要熟悉底层的配置和并行实现细节.
1]
模型[是GMaReduceoole实验室提出的分布pg
式并行编程模型或框架,它能组织集群来处理大
成为云计算平台主流的并行数据处规模数据集,
[2]
理模型.Aache开源社区的Hadoopp项目用
同时Hadooava语言实现了该模型,p项目还设j
计了开放源代码的云计算技术平台.云计算技术
]34-
,文献[则对在多核集群上以国内已有研究[5]
的方式实现机器学习算法进行了研MaReducep究.本文在基于Hadoop技术的云计算基础平台
上,研究了k-means聚类算法的MaReduce并行p编程实现方法,并进行了相关实验.
收稿日期 20110315.--
,:作者简介 江小平(男,博士,1974E-mailianxail.scuec.edu.cn.-)@mjgp
);武汉市科技攻关项目(;华基金项目 中央高校基本科研业务费专项资金资助项目(CZY11002201110821229)
中科技大学暨湖北省移动通信公司TDSCDMA联合创新实验室创新基金资助项目.-
基于MapReduce的聚类算法的并行化研究_生物学_自然科学_专业资料。hadoop 云计算...k_means聚类算法的MapRe... 5页 1下载券 Ch9.1-基于MapReduce的K... 37...
在串行实现方法中利用 K - means 聚类算法, 对重 心点进行聚类时, 每一次迭代可以看作是一次 MapReduce 计算过程, 并行地计算每一个待分配点到聚类中 心的...
文献〔 3 - 4〕 Means) 聚类算法的 MapReduce 并行化 针对 K 均值( KMeans 聚类 实现了 MapReduce 并行化的 K进行了相关研究, Means 聚类算法的 MapReduce...
Ch9.1-基于MapReduce的K-Means聚类并行算法_计算机软件及应用_IT/计算机_专业资料...从而实现并行 数据间是无关的,但是数据和聚类中心是相关的,因 此需要全局文件...
基于MapReduce的并行K-Means聚类_数学_自然科学_专业资料。基于MapReduce的并行K...对于在科学数据分析中要同时满足可伸缩性和性 能要求,高效的并行聚类算法和实现...
云计算环境下Apriori算法的MapReduce并行化_建筑/土木_工程科技_专业资料 暂无评价
三、k-means 聚类算法并行分析及 MapReduce 并行实现 k-means 聚类中心初始化位置决定其算法收敛时迭代次数,直接影响谱聚类计算时间。基于 国内外研究现状及发展趋势...
可视化人机交互集成开发环境支持下 ,统一调度 、协 调处理 ,实现高效并行处理的...辉 收稿日期 : 2008 - 03 - 03 1 K2 e a n s 聚类算法 M 摘要 : ...
基于MapReduce模型的并行遗传k-means聚类算法_物理_自然科学_专业资料 暂无评价
III III 陈涛 一种基于“云”计算平台的并行聚类—K-means 算法设计与实现 1 引言 1.1 研究意义数据挖掘(Data Mining),又称为数据库中的知识发现(简称 KDD)...
热门文档