搭建基于云计算的开源海量数据挖掘平台

应用实践

应用实践

搭建基于云计算的开源海量数据挖掘平台

赵华茗

(中国科学院国家科学图书馆 北京100190)

摘要 通过分析亚马逊弹性MapReduce(EMR)平台构架,针对信息情报机构内部数据处理的迫切需求,提出通过开源技术Xen和Hadoop平台构建基于云计算的动态可伸缩的海量数据处理平台并给出实施方案、海量文本数据处理案例和开源EMR平台的优势分析。实施方案主要分为三部分:搭建动态虚拟的云计算环境、安装制作Hadoop虚拟服务器模板、配置运行Cloudera和ClouderaDesktop。通过开源EMR架构的应用,可以有效解决服务器蔓延问题,提高网络计算资源的利用效率和分布式数据挖掘服务的快速布署能力及灵活性。 关键词 云计算 海量数据挖掘 虚拟技术 分布式计算 Xen Cloudera Hadoop 分类号 TP393

BuildingtheOpenSourceMassDataMiningPlatformBasedonCloudComputing

ZhaoHuaming

(NationalScienceLibrary,ChineseAcademyofSciences,Beijing100190,China)

Abstract Amiingtomeettheinternaldataprocessingneedsofinformationorganizations,thispaper,byanalyzingtheframeworksofAmazonElasticMap/Reduce(EMR)platform,putsforwardtobuildthedynamicandelasticopensourcemassdataminingplatformbasedoncloudcomputing,andprovidesaroadmapofsuccessfulmiplementation,anexampleofmassivetextdataprocessingandtheanalysisofadvantagesofopensourceEMRplatform.Thismiplementationplanincludesthreeparts:buildingdynamicvirtualenvironmentofcloudcomputing,creatingthevirtualservertemplateofHadoop,anddeployingandrunningClouderaandClouderaDesktop.ThroughtheapplicationofopensourceEMRplatform,theproblemofserversprawlcanbesolvedeffectively,theutilizationratioofnetworkcomputingresourceismiproved,andtherapiddeploymentcapabilityandagilityofdistributeddataprocessingservicesareenhanced.

Keywords Cloudcomputing Massdatamining Virtualization Distributedcomputing Xen Cloudera Hadoop

1 引 言

互联网促进了信息流通,也带来了信息的爆炸式增长,最新的IDC研究报告指出2010年全球信息量将进入ZB时代,并且每年以60%的速度在上升,这意味着每18个月全球信息数据量将被翻倍

[1]

。面对不断拓展的惊人

的数据规模,海量信息的存储与管理、实时处理、数据搜索、数据挖掘与智能应用等信息处理能力面临新的挑战,信息技术架构迫切需要以动态可伸缩为特点的支持海量数据处理的新的存储计算模式。

收稿日期:2010-09-26

收修改稿日期:2010-09-28

*本文系 第二十四届全国计算机信息管理学术研讨会 论文。