数据挖掘、云计算
应用实践
应用实践
搭建基于云计算的开源海量数据挖掘平台
赵华茗
(中国科学院国家科学图书馆 北京100190)
摘要 通过分析亚马逊弹性MapReduce(EMR)平台构架,针对信息情报机构内部数据处理的迫切需求,提出通过开源技术Xen和Hadoop平台构建基于云计算的动态可伸缩的海量数据处理平台并给出实施方案、海量文本数据处理案例和开源EMR平台的优势分析。实施方案主要分为三部分:搭建动态虚拟的云计算环境、安装制作Hadoop虚拟服务器模板、配置运行Cloudera和ClouderaDesktop。通过开源EMR架构的应用,可以有效解决服务器蔓延问题,提高网络计算资源的利用效率和分布式数据挖掘服务的快速布署能力及灵活性。 关键词 云计算 海量数据挖掘 虚拟技术 分布式计算 Xen Cloudera Hadoop 分类号 TP393
BuildingtheOpenSourceMassDataMiningPlatformBasedonCloudComputing
ZhaoHuaming
(NationalScienceLibrary,ChineseAcademyofSciences,Beijing100190,China)
Abstract Amiingtomeettheinternaldataprocessingneedsofinformationorganizations,thispaper,byanalyzingtheframeworksofAmazonElasticMap/Reduce(EMR)platform,putsforwardtobuildthedynamicandelasticopensourcemassdataminingplatformbasedoncloudcomputing,andprovidesaroadmapofsuccessfulmiplementation,anexampleofmassivetextdataprocessingandtheanalysisofadvantagesofopensourceEMRplatform.Thismiplementationplanincludesthreeparts:buildingdynamicvirtualenvironmentofcloudcomputing,creatingthevirtualservertemplateofHadoop,anddeployingandrunningClouderaandClouderaDesktop.ThroughtheapplicationofopensourceEMRplatform,theproblemofserversprawlcanbesolvedeffectively,theutilizationratioofnetworkcomputingresourceismiproved,andtherapiddeploymentcapabilityandagilityofdistributeddataprocessingservicesareenhanced.
Keywords Cloudcomputing Massdatamining Virtualization Distributedcomputing Xen Cloudera Hadoop
1 引 言
互联网促进了信息流通,也带来了信息的爆炸式增长,最新的IDC研究报告指出2010年全球信息量将进入ZB时代,并且每年以60%的速度在上升,这意味着每18个月全球信息数据量将被翻倍
[1]
。面对不断拓展的惊人
的数据规模,海量信息的存储与管理、实时处理、数据搜索、数据挖掘与智能应用等信息处理能力面临新的挑战,信息技术架构迫切需要以动态可伸缩为特点的支持海量数据处理的新的存储计算模式。
收稿日期:2010-09-26
收修改稿日期:2010-09-28
*本文系!第二十四届全国计算机信息管理学术研讨会 论文。
J,21(0:6-1 请注明引用地址: 搭建基于云计算的开源海量数据挖掘平台〔〕 现代图书情报技术,001)78. 应用实践 搭建基于云计算的开源海量数据挖掘平台赵华茗 ( ...
基于微软云计算平台的海量数据挖掘系统_计算机软件及应用_IT/计算机_专业资料。... 搭建基于云计算的开源海... 6页 免费 搭建基于云计算的开源海... 6页 ...
基于云计算的海量数据挖掘研究_物理_自然科学_专业资料 暂无评价
搭建基于云计算的开源海... 6页 免费 基于云计算的海量数据挖... 暂无评价...是由中国科学院计算技术研究所开发的基于 Hadoop 的并行分布式数据 挖掘平台,该...
云计算与数据挖掘 116页 免费 基于Hadoop平台的并行数据... 9页 2财富值 搭建基于云计算的开源海量... 6页 免费 →云计算下的海量数据挖掘... 27页 1...
6页 1财富值 基于云计算的海量数据挖掘 48页 免费 搭建基于云计算的开源海量... 6页 免费 基于微软云计算平台的海量... 3页 5财富值喜欢此文档的还喜欢...
6页 1财富值 基于云计算的海量数据挖掘 48页 免费 搭建基于云计算的开源海量... 6页 免费 基于微软云计算平台的海量... 3页 5财富值喜欢此文档的还喜欢...
搭建基于云计算的开源海量... 6页 免费 搭建基于云计算的开源海量... 6页... 青岛大学 硕士学位论文 一种基于云计算的数据挖掘平台架构设计与实现 姓名:纪...
基于云计算的海量数据挖掘_计算机软件及应用_IT/计算机_专业资料。何清:各位... 搭建基于云计算的开源海... 6页 免费 云计算下的海量数据挖掘... 27页 ...
云计算主要有三种主流的商业模式,分别是平台 2 基于云计算的海量数据挖掘 2....目前常见的云计算数 据存储技术有非开源的 GFS( Google File System) 和开 ...
热门文档