文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 计算机硬件及网络 > MapReduce并行编程实验介绍
侵权投诉

MapReduce并行编程实验介绍

实验二 MapReduce并行编程

一、 实验目的

1. 学习hadoop分布式文件系统、MapReduce编程模型,理解MapReduce的思想。

2. 学习使用MapReduce编写简单的并行程序,使用hadoop基本命令。

二、 实验指导

1. MapReduce理论简介

1.1 MapReduce编程模型

MapReduce采用"分而治之"的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果。简单地说,MapReduce就是"任务的分解与结果的汇总"。

在Hadoop中,用于执行MapReduce任务的机器角色有两个:一个是JobTracker;另一个是TaskTracker,JobTracker是用于调度工作的,TaskTracker是用于执行工作的。一个Hadoop集群中只有一台JobTracker。

在分布式计算中,MapReduce框架负责处理了并行编程中分布式存储、工作调度、负载均衡、容错均衡、容错处理以及网络通信等复杂问题,把处理过程高度抽象为两个函数:map和reduce,map负责把任务分解成多个任务,reduce负责把分解后多任务处理的结果汇总起来。

需要注意的是,用MapReduce来处理的数据集(或任务)必须具备这样的特点:待处理的数据集可以分解成许多小的数据集,而且每一个小数据集都可以完全并行地进行处理。

1.2 MapReduce处理过程

在Hadoop中,每个MapReduce任务都被初始化为一个Job,每个Job又可以分为两种阶段:map阶段和reduce阶段。从下图中可以看出,MapReduce计算模型的核心部分是map函数和reduce函数。这两个函数的具体功能有用户根据需要自己设计实现。

在Map阶段,MapReduce框架将任务的输入数据分割成固定大小的片段(splits),随后将每个split进一步分解成一批键值对<K1, V1>。Hadoop为每一个split创建一个

第1页

你可能喜欢

  • 分布式并行计算
  • hadoop开发
  • 编程程序设计
  • Socket编程
  • 云计算技术
  • 并行编程模型
  • 并行程序设计
  • 核分析技术

热门文档

相关文档

  • MapReduce并行编程模式的应用与研究

    实验测试表明,在HPMR上运用我们所提出的方法和步骤使用MapReduce 模式来分析和...然后,介绍了MapReduce模式与其它并行编程模式的关系,以及MapReduce在这 些模式上...

  • MapReduce_新型的分布式并行计算编程模型

    函数式编程语言, 介绍了 M apReduce 编程 模型及其应用情况, 综述了当前学术...MapRe duce 是 Google 实验室提出的一个分布式并行编程 模型或 框架 ( ...

  • 一种改进的MapReduce并行编程模型

    实验利用基于 Hadoop[4] 的 MSE(MapReduce Search [3] J.H.Yeung,C.Tsang... MapReduce 并行编程架构... 暂无评价 4页 免费 MapReduce 编程模型简介 暂无...

  • MapReduce并行编程模型研究综述_李建江

    将来 MapReduce 并行编程模型会被移 植到更 多的实验 平台 上 ( 例如: 物 ...( in Chinese) 作者简介李建江 男 , 1971 年 生于 四川广 安 , 博士 , ...

  • mapreduce实验说明书

    实验简介? ? MapReduce 是 Google 首先提出的一种编程模型,在这个模型框架下程序员可以通过编 写很简单的程序片段, 实现对分布式海量数据的并行操作。 在这个模型...

  • 基于MapReduce的并行编程研究-习荣华

    第四章:在本章中,通过其应用、特点及基本结构详细的介绍了Hadoop这个分布式计算... MapReduce编程 45页 免费 暨南大学并行计算实验室... 18页 免费 一种网格化...

  • 面向云计算的MapReduce并行编程模式的研究与应用

    详细分析了Google的MapReduce实现框架,为后述实验平 台的选择打好基础,最后提出...第2章在并行计算研究面上介绍了并行编程模型的相关概念。描述了在高性 能计算机...

  • 稀疏化相似矩阵并行分析及MapReduce并行实现

    论文分析 该并行算法, 并通过理论证明与并行算法加速比和可扩展性实验结果阐述...二、MapReduce 并行编程模型 (1)MapReduce 简介 MapReduce 是 Hadoop MapReduce...

  • MapReduce并行框架介绍

    MapReduce并行框架介绍_IT/计算机_专业资料。这是一篇并行处理关键技术——MapReduce的简介。MapReduce编程模式是构建谷歌帝国的基础之一,现在已经广泛用于并行计算当中...

  • k_means聚类算法的MapReduce并行化实现

    并行 enaRdc 编程实现方法, 并进行了相关实验 . 是Gol实验室提出的分布oge 式并行编程模型 或框架, 能组织集群来处理大它 收稿日期 21-31010-5. 作者简介 江...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email