Hadoop,云计算
实践与经验
(3)Client将文件划分为多个块,根据DataNode的地址信息,按顺序写入到每一个DataNode块中。
1.2计算系统Map/Reduce
Hadoop框架中采用了Google提出的云计算核心计算模式Map/Reduce,是一种分布式计算技术,也是简化的分布式编程模式[4]。
同的key)。通常Shuffle和Sort两个阶段是同时进行的,Reduce的输入也是一边被取出,一边被合并的。
(4)Reduce:此阶段会遍历中间数据,对每一个唯一key,执行用户自定义的Reduce函数,输出新的<key,value>键值对。
(5)Output:此阶段会把Reduce输出的结果写入到输出目录的文件中。
图1HDFS体系结构
Hadoop采用了JobTracker/TaskTrackers的结构来实现Map/Reduce计算模式,该结构也是一种典型的主从式结构。JobTracker负责整个Map/Reduce的控制工作,首先选择空闲的TaskTracker来分配这些Map任务或者Reduce任务;TaskTracker执行从JobTracker发来的指令并同时处理Map和Reduce阶段之间数据的移动,每个TaskTracker节点会周期性的报告完成的工作和状态的更新。如果一个TaskTracker节点保持沉默超过一个预设的时间间隔,JobTracker会记录下这个节点状态为死亡,并把分配给这个节点的数据发到别的节点。通常,Map/Reduce框架和分布式文件系统HDFS是运行在一组相同的节点上的,也就是说,计算节点和存储节点通常在一起。这种配置允许框架在那些已经存好数据的节点上高效地调度任务,这可以使整个集群的网络带宽被高效地利用。
一个典型的HadoopMap/Reduce过程一般有下列几个阶段,如图2所示。
2基于Hadoop的云计算模型
用户将要计算的任务提交给云计算的平台
Hadoop,其计算过程的模型如图3所示。在该模型中,用户的输入文件会被分割成多个数据块放置到每一个
图2Map/Reduce工作过程
Slave的DataNode上,然后由NameNode负责管理存放于若干个DataNode节点上数据块;用户的计算任务将被划分成多个Map任务,Map任务的个数通常默认和
(1)Input:用户应用程序通常需要提供Map和Re-duce函数,并指明输入/输出的位置(路径)和其他一些运行参数。此外,此阶段还会把输入目录下的大数据文件,划分为若干独立的数据块。通常作业的输入和输出都会被存储在文件系统中。
(2)Map:Map/Reduce框架把用户作业的输入看作是一组<key,value>键值对,框架会调用用户自定义的
HDFS需要处理的数据块个数相同。当然可以通过配置来设定Map和Reduce的任务个数。JobTracker的主要职责就是启动、跟踪和调度各个Slave的Map任务或
Reduce任务的执行,它们是由模型中的TaskTrack来并行执行。其中JobTracker定期探测各个TaskTrack,当出现故障时,重新执行Map,如果这时Reduce尚未完成则重新执行。在执行中任务Map和Reduce的个数一般大于Slave节点的数目以利于负载均衡和故障恢复。
Map函数处理每一个<key,value>键值对,生成一批新的中间<key,value>键值对,这两组键值对的类型可能不同。
(3)Shuffle&Sort:为了保证Reduce的输入是Map排好序的输出。在Shuffle阶段,框架通过HTTP为每个Reduce获得所有Map输出中与之相关的<key,value>键值对;而在Sort阶段,框架将按照key的值对Reduce的输入进行分组(因为不同map的输出中可能会有相
3基于Hadoop实现云计算步骤
(1)硬件环境配置
根据上面分析的Hadoop架构体系,Hadoop集群
2010.07
貦貗貋
实践与经验 基于 Hadoop 的云计算模型林清滢(韩山师范学院数学与信息技术系,潮州 521041 )摘要: Hadoop 是一个更容 易开 发和 并行 处理 大规 模数 据的 ...
探讨了来自Apache开源的分布式计算平台Hadoop的核心设计MapReduce编程模型,并通过算法实验分析和研究了MapReduce模型的工作方式和应用方法。...
本文的研究课题是基于 Hadoop 的云计算模型研究与应用,主要目标是:分析 传统 Hadoop 框架的性能瓶颈,设计一种新的 Hadoop 框架;在改进传统 Hadoop 框架的基础上,...
Technology and Study·技术探讨 基于Hadoop云计算模型探究李 (汕头市经贸职业技术学校 广东汕头 515041) 【摘要】 云计算是并行计算、 分布式计算和网格计算的发展...
介绍了云计算的关键技术,这些技术包含虚拟机和计算模 型等,还基于Hadoop对云计算模型进行了研究。 关键词:云计算;云计算关键技术;云计算计算模型;Hadoop 中图分类...
介绍了基于hadoop的云计算模型。介绍了基于hadoop的云计算模型。隐藏>> 第9 第9 卷期 21年 9月 00 软件导刊 SfwaeGud otr ie Vo. . 1N099 Se20p.01 云...
2010 云计算关键技术及基于 Hadoop 的云计算模型研究洪 沙,杨深远 (重庆大学 软件学院,重庆 400030 )摘要:云计算是在网格计算基础上新兴的计算模型 ,是互联网...
(论文 题目 设计 论文)题目: 论文 题目: 专 题题 目: 姓名: 姓名: 基于 Hadoop 的云计算研究与实现 QQ 122414395 学号: 学号: 200707024115 计算机系 刘宗奇...
〔1〕 刘鹏. 云计算〔 M. 北京: 电了工业出版社, 2010.〕〔2〕 朱珠. 基于 Hadoop 的海量数据处理模型研究和应用〔 M.〕 北京: 北京邮电人学, 2008.〔...
可移植性强, 为个人和企业进行云计算方面的研 究和应用奠定了基础, 基于 Hadoop 云计算平台, 使用 MapReduce 模型进行大规模数据分析目前已经 成为一个重要的...
热门文档