Hadoop
窿箧Il羹il避!:曼竺垦!呈!皇!呈!!里!旦旦Y
基于HadoopMapReduce模型的应用研究
谢桂兰,罗省贤
(成都理工大学信息工程学院,四川成都610059)
摘要:MapReduce是一种简化并行计算的分布式编程模型,是Google的一项重要技术,通常被用于数据密集型的分布式并行计算。探讨了来自Apache开源的分布式计算平台Hadoop的核心设计
MapReduce编程模型,并通过算法实验分析和研究了MapReduce模型的工作方式和应用方法。
关键词:分布式并行计算;Hadoop;编程模型;MapReduce
中图分类号:TP391
文献标识码:A
Study
on
applicationofMapReducemodelbased
XIEGui
Lan,LUO
Sheng
of
on
Hadoop
Xian
(CollegeofInformationEngineering,Chengdu
University
Technology,Chengdu
610059,China)
Abstract:MapReduce
Google,and
isis
commonlythe
core
isused
a
simplifiedforof
programming
modelofdistributed
parallel
computing.Itis
paper
an
importantMapReduceApache
technology
of
data—intensivethe()pen—source
distributeddistributed
parallelcomputing.This
discusses
from
programming
model,which
analyzes
designcomputingplatform
named
Hadooporganization,and
andstudiestheworkingmethodsandapplicationof
parallel
MapReduce
modelthroughthealgorithm
experiments.
Keywords:distributed
computing;Hadoop;programmingmodel;MapReduce
云计算(CloudComputing)是一种新近提出的技术概念,Google是云计算的最早倡导者。“云计算”这一名浏的出现,立刻在产业界和学术界引起r轰动。IBM、Google、Sun、MS、百度、Yahoo、亚马逊甚至瑞星、奇虎这些公司都开始进行“云计算”的部署工作。而Hadoop分布式计算平台是云计算的一个开源实现。互联网行业巨擎Google引以自豪的三大核心技术GFS、Mapreduce和Bigtable使其在激烈的行业竞争中占尽先机。Hadoop正是借鉴了许多GFS和MapReduce的没计思想发展而来的,从某种意义上也可以将Hadoop理解为GFS和
GoogleMapReduce的开源实现。
接kl。Hadoop框架的主要组成部分是Hadoop分布式文件系统(HDFS)和MapReduce的实现。HDFS采用Master/Slave架构,一个HDFS集群由一个NameNode节点和一组DataNode节点组成。NameNode是一个中心服务器,负责管理文件系统的名字空问(NameSpace)以及客户端对文件的访问。在集群系统中,一般在一个节点上运行一个DataNode,负责管理它所在节点上的数据存储,并负责处理文件系统客户端的读写请求,在NameNode的统一调度下进行数据块的创建、删除和复制。Hadoop还实现了Google的MapReduce分布式计算模型,MapReduce把应用程序的总任务分割成许多子任务,每个子任务可以在任何集群节点(DataNode节点,通常也作为计算节点)上并行处理。HDFS创建了多份数据块(datablocks)的副本(Replicas),以保证各个子任务节点计算的可靠性(Reliability)。由于采用了分布式文件系统和MapRe—duce模型,因此Hadoop框架具有高容错性及对数据读写的高吞吐率,能自动处理失败节点。图1是Hadoop集群系统架构的示意图。
如图1所示,在Hadoop集群架构中,Client是需要获取分布式文件系统文件的应用程序,并且会有一台Master主要负责NameNode的工作以及JobTracker的工作。JobTracker在Hadoop集群中负责控制MapReduce应
Hadoop是一个可以更容易支持开发和并行处理大规模数据的分布式计算平台,其主要优点是:可扩展
(Scalable)、低成本(Economical)、高效(Efficient)、可靠(Reli—
able)。它完全使用Java开发的开源软件,因而可以广泛运行在多种软硬件平台上。本文分析和研究_『基于Hadoop的MapReduce编程模型的思想、计算流程和应用MapReduce模型实现分布式并行算法的方法,并设计了一套分布式并行随机数发生器算法验证用MapReduce解决并行计算问题的适用性和计算效率。
1
Hadoop框架的工作机制
Hadoop为应用程序透明地提供r一组稳定可靠的
4
万方数据
《微型机与应用》2010年第8期
探讨了来自Apache开源的分布式计算平台Hadoop的核心设计MapReduce编程模型,并通过算法实验分析和研究了MapReduce模型的工作方式和应用方法。 关键词:分布式并行计算;Hadoop...
探讨了来自Apache开源的分布式计算平台Hadoop的核心设计MapReduce编程模型,并通过算法实验分析和研究了MapReduce模型的工作方式和应用方法。隐藏>> Sotr cnlg fwaeTehooy ...
基于Hadoop的MapReduce模型的研究与改进_专业资料。针对MapReduce模型中存在的多个Reduce任务之间完成时间差别较大的问题,分析了影响Reduce任务完成时间的因素,指出了...
北京邮电大学 硕士学位论文 基于Hadoop的海量数据处理模型研究和应用 姓名:朱珠 申请学位级别:硕士 专业:密码学 指导教师:胡正名 20080101 基于Hadoop的海量数据处理...
基于Hadoop的MapReduce分析_计算机软件及应用_IT/计算机_专业资料。基于Hadoop的MapReduce分析 张龙 目录 ? 1 MapReduce编程模型 ? 2 MapReduce能做什么,丌能做...
基于Hadoop的移动学习模型研究 隐藏>> 技术与应用 文章编号: — 9860 (2011 )01 — 0124 — 05 1006 总第 288 期 中国电化教育 2011.1 基于 Ha d o o...
本文的研究课题是基于 Hadoop 的云计算模型研究与应用,主要目标是:分析 传统 Hadoop 框架的性能瓶颈,设计一种新的 Hadoop 框架;在改进传统 Hadoop 框架的基础上,...
基于Hadoop的贝叶斯过滤MapReduce模型_计算机软件及应用_IT/计算机_专业资料。第3 9卷 第11期 Vbl-39 ? 计 算 机 工 程 2013年11月 November 2013 NO.11 ...
基于MapReduce模型的分布式Word文档破解_计算机软件及应用_IT/计算机_专业资料。hadoop 云计算平台 mapreduce201 0年第1 9卷第3期 计算机系统应用 基于MapReduce...
基于Hadoop的Map/Reduce框 基于Hadoop的Map/Reduce框 Hadoop 架研究报告黄飞 Outline ? 1. 模型介绍: ? Hadoop 简介 ? MapReduce 计算模型 ? 2.实例分析 ? ...
热门文档