实验二 MapReduce并行编程
一、 实验目的
1. 学习hadoop分布式文件系统、MapReduce编程模型,理解MapReduce的思想。
2. 学习使用MapReduce编写简单的并行程序,使用hadoop基本命令。
二、 实验指导
1. MapReduce理论简介
1.1 MapReduce编程模型
MapReduce采用"分而治之"的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果。简单地说,MapReduce就是"任务的分解与结果的汇总"。
在Hadoop中,用于执行MapReduce任务的机器角色有两个:一个是JobTracker;另一个是TaskTracker,JobTracker是用于调度工作的,TaskTracker是用于执行工作的。一个Hadoop集群中只有一台JobTracker。
在分布式计算中,MapReduce框架负责处理了并行编程中分布式存储、工作调度、负载均衡、容错均衡、容错处理以及网络通信等复杂问题,把处理过程高度抽象为两个函数:map和reduce,map负责把任务分解成多个任务,reduce负责把分解后多任务处理的结果汇总起来。
需要注意的是,用MapReduce来处理的数据集(或任务)必须具备这样的特点:待处理的数据集可以分解成许多小的数据集,而且每一个小数据集都可以完全并行地进行处理。
1.2 MapReduce处理过程
在Hadoop中,每个MapReduce任务都被初始化为一个Job,每个Job又可以分为两种阶段:map阶段和reduce阶段。从下图中可以看出,MapReduce计算模型的核心部分是map函数和reduce函数。这两个函数的具体功能有用户根据需要自己设计实现。
在Map阶段,MapReduce框架将任务的输入数据分割成固定大小的片段(splits),随后将每个split进一步分解成一批键值对<K1, V1>。Hadoop为每一个split创建一个
实验测试表明,在HPMR上运用我们所提出的方法和步骤使用MapReduce 模式来分析和...然后,介绍了MapReduce模式与其它并行编程模式的关系,以及MapReduce在这 些模式上...
函数式编程语言, 介绍了 M apReduce 编程 模型及其应用情况, 综述了当前学术...MapRe duce 是 Google 实验室提出的一个分布式并行编程 模型或 框架 ( ...
实验利用基于 Hadoop[4] 的 MSE(MapReduce Search [3] J.H.Yeung,C.Tsang... MapReduce 并行编程架构... 暂无评价 4页 免费 MapReduce 编程模型简介 暂无...
将来 MapReduce 并行编程模型会被移 植到更 多的实验 平台 上 ( 例如: 物 ...( in Chinese) 作者简介李建江 男 , 1971 年 生于 四川广 安 , 博士 , ...
实验简介? ? MapReduce 是 Google 首先提出的一种编程模型,在这个模型框架下程序员可以通过编 写很简单的程序片段, 实现对分布式海量数据的并行操作。 在这个模型...
第四章:在本章中,通过其应用、特点及基本结构详细的介绍了Hadoop这个分布式计算... MapReduce编程 45页 免费 暨南大学并行计算实验室... 18页 免费 一种网格化...
详细分析了Google的MapReduce实现框架,为后述实验平 台的选择打好基础,最后提出...第2章在并行计算研究面上介绍了并行编程模型的相关概念。描述了在高性 能计算机...
论文分析 该并行算法, 并通过理论证明与并行算法加速比和可扩展性实验结果阐述...二、MapReduce 并行编程模型 (1)MapReduce 简介 MapReduce 是 Hadoop MapReduce...
MapReduce并行框架介绍_IT/计算机_专业资料。这是一篇并行处理关键技术——MapReduce的简介。MapReduce编程模式是构建谷歌帝国的基础之一,现在已经广泛用于并行计算当中...
并行 enaRdc 编程实现方法, 并进行了相关实验 . 是Gol实验室提出的分布oge 式并行编程模型 或框架, 能组织集群来处理大它 收稿日期 21-31010-5. 作者简介 江...
热门文档