文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 高等教育 > 工学 > 基于Hadoop的云计算模型
侵权投诉

基于Hadoop的云计算模型

Hadoop,云计算

实践与经验

(3)Client将文件划分为多个块,根据DataNode的地址信息,按顺序写入到每一个DataNode块中。

1.2计算系统Map/Reduce

Hadoop框架中采用了Google提出的云计算核心计算模式Map/Reduce,是一种分布式计算技术,也是简化的分布式编程模式[4]。

同的key)。通常Shuffle和Sort两个阶段是同时进行的,Reduce的输入也是一边被取出,一边被合并的。

(4)Reduce:此阶段会遍历中间数据,对每一个唯一key,执行用户自定义的Reduce函数,输出新的<key,value>键值对。

(5)Output:此阶段会把Reduce输出的结果写入到输出目录的文件中。

图1HDFS体系结构

Hadoop采用了JobTracker/TaskTrackers的结构来实现Map/Reduce计算模式,该结构也是一种典型的主从式结构。JobTracker负责整个Map/Reduce的控制工作,首先选择空闲的TaskTracker来分配这些Map任务或者Reduce任务;TaskTracker执行从JobTracker发来的指令并同时处理Map和Reduce阶段之间数据的移动,每个TaskTracker节点会周期性的报告完成的工作和状态的更新。如果一个TaskTracker节点保持沉默超过一个预设的时间间隔,JobTracker会记录下这个节点状态为死亡,并把分配给这个节点的数据发到别的节点。通常,Map/Reduce框架和分布式文件系统HDFS是运行在一组相同的节点上的,也就是说,计算节点和存储节点通常在一起。这种配置允许框架在那些已经存好数据的节点上高效地调度任务,这可以使整个集群的网络带宽被高效地利用。

一个典型的HadoopMap/Reduce过程一般有下列几个阶段,如图2所示。

2基于Hadoop的云计算模型

用户将要计算的任务提交给云计算的平台

Hadoop,其计算过程的模型如图3所示。在该模型中,用户的输入文件会被分割成多个数据块放置到每一个

图2Map/Reduce工作过程

Slave的DataNode上,然后由NameNode负责管理存放于若干个DataNode节点上数据块;用户的计算任务将被划分成多个Map任务,Map任务的个数通常默认和

(1)Input:用户应用程序通常需要提供Map和Re-duce函数,并指明输入/输出的位置(路径)和其他一些运行参数。此外,此阶段还会把输入目录下的大数据文件,划分为若干独立的数据块。通常作业的输入和输出都会被存储在文件系统中。

(2)Map:Map/Reduce框架把用户作业的输入看作是一组<key,value>键值对,框架会调用用户自定义的

HDFS需要处理的数据块个数相同。当然可以通过配置来设定Map和Reduce的任务个数。JobTracker的主要职责就是启动、跟踪和调度各个Slave的Map任务或

Reduce任务的执行,它们是由模型中的TaskTrack来并行执行。其中JobTracker定期探测各个TaskTrack,当出现故障时,重新执行Map,如果这时Reduce尚未完成则重新执行。在执行中任务Map和Reduce的个数一般大于Slave节点的数目以利于负载均衡和故障恢复。

Map函数处理每一个<key,value>键值对,生成一批新的中间<key,value>键值对,这两组键值对的类型可能不同。

(3)Shuffle&Sort:为了保证Reduce的输入是Map排好序的输出。在Shuffle阶段,框架通过HTTP为每个Reduce获得所有Map输出中与之相关的<key,value>键值对;而在Sort阶段,框架将按照key的值对Reduce的输入进行分组(因为不同map的输出中可能会有相

3基于Hadoop实现云计算步骤

(1)硬件环境配置

根据上面分析的Hadoop架构体系,Hadoop集群

2010.07

貦貗貋

上一页第2页

你可能喜欢

热门文档

相关文档

  • 基于Hadoop的云计算模型

    实践与经验 基于 Hadoop 的云计算模型林清滢(韩山师范学院数学与信息技术系,潮州 521041 )摘要: Hadoop 是一个更容 易开 发和 并行 处理 大规 模数 据的 ...

  • 【论文】基于Hadoop云计算模型探究

    探讨了来自Apache开源的分布式计算平台Hadoop的核心设计MapReduce编程模型,并通过算法实验分析和研究了MapReduce模型的工作方式和应用方法。...

  • 基于Hadoop的云计算模型研究与应用

    本文的研究课题是基于 Hadoop 的云计算模型研究与应用,主要目标是:分析 传统 Hadoop 框架的性能瓶颈,设计一种新的 Hadoop 框架;在改进传统 Hadoop 框架的基础上,...

  • 基于Hadoop云计算模型探究

    Technology and Study·技术探讨 基于Hadoop云计算模型探究李 (汕头市经贸职业技术学校 广东汕头 515041) 【摘要】 云计算是并行计算、 分布式计算和网格计算的发展...

  • 云计算关键技术及基于Hadoop的云计算模型研究

    介绍了云计算的关键技术,这些技术包含虚拟机和计算模 型等,还基于Hadoop对云计算模型进行了研究。 关键词:云计算;云计算关键技术;云计算计算模型;Hadoop 中图分类...

  • 云计算关键技术及基于Hadoop的云计算模型研究

    介绍了基于hadoop的云计算模型。介绍了基于hadoop的云计算模型。隐藏>> 第9 第9 卷期 21年 9月 00 软件导刊 SfwaeGud otr ie Vo. . 1N099 Se20p.01 云...

  • 云计算关键技术及基于Hadoop的云计算模型研究

    2010 云计算关键技术及基于 Hadoop 的云计算模型研究洪 沙,杨深远 (重庆大学 软件学院,重庆 400030 )摘要:云计算是在网格计算基础上新兴的计算模型 ,是互联网...

  • 基于Hadoop的云计算研究与实现

    (论文 题目 设计 论文)题目: 论文 题目: 专 题题 目: 姓名: 姓名: 基于 Hadoop 的云计算研究与实现 QQ 122414395 学号: 学号: 200707024115 计算机系 刘宗奇...

  • 基于Hadoop的云计算基础架构分析

    〔1〕 刘鹏. 云计算〔 M. 北京: 电了工业出版社, 2010.〕〔2〕 朱珠. 基于 Hadoop 的海量数据处理模型研究和应用〔 M.〕 北京: 北京邮电人学, 2008.〔...

  • 基于Hadoop云计算平台的海量文本处理研究

    可移植性强, 为个人和企业进行云计算方面的研 究和应用奠定了基础, 基于 Hadoop 云计算平台, 使用 MapReduce 模型进行大规模数据分析目前已经 成为一个重要的...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email