文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 工程科技 > 信息与通信 > 基于Hadoop+MapReduce模型的应用研究
侵权投诉

基于Hadoop+MapReduce模型的应用研究

Hadoop

窿箧Il羹il避!:曼竺垦!呈!皇!呈!!里!旦旦Y

基于HadoopMapReduce模型的应用研究

谢桂兰,罗省贤

(成都理工大学信息工程学院,四川成都610059)

摘要:MapReduce是一种简化并行计算的分布式编程模型,是Google的一项重要技术,通常被用于数据密集型的分布式并行计算。探讨了来自Apache开源的分布式计算平台Hadoop的核心设计

MapReduce编程模型,并通过算法实验分析和研究了MapReduce模型的工作方式和应用方法。

关键词:分布式并行计算;Hadoop;编程模型;MapReduce

中图分类号:TP391

文献标识码:A

Study

on

applicationofMapReducemodelbased

XIEGui

Lan,LUO

Sheng

of

on

Hadoop

Xian

(CollegeofInformationEngineering,Chengdu

University

Technology,Chengdu

610059,China)

Abstract:MapReduce

Google,and

isis

commonlythe

core

isused

a

simplifiedforof

programming

modelofdistributed

parallel

computing.Itis

paper

an

importantMapReduceApache

technology

of

data—intensivethe()pen—source

distributeddistributed

parallelcomputing.This

discusses

from

programming

model,which

analyzes

designcomputingplatform

named

Hadooporganization,and

andstudiestheworkingmethodsandapplicationof

parallel

MapReduce

modelthroughthealgorithm

experiments.

Keywords:distributed

computing;Hadoop;programmingmodel;MapReduce

云计算(CloudComputing)是一种新近提出的技术概念,Google是云计算的最早倡导者。“云计算”这一名浏的出现,立刻在产业界和学术界引起r轰动。IBM、Google、Sun、MS、百度、Yahoo、亚马逊甚至瑞星、奇虎这些公司都开始进行“云计算”的部署工作。而Hadoop分布式计算平台是云计算的一个开源实现。互联网行业巨擎Google引以自豪的三大核心技术GFS、Mapreduce和Bigtable使其在激烈的行业竞争中占尽先机。Hadoop正是借鉴了许多GFS和MapReduce的没计思想发展而来的,从某种意义上也可以将Hadoop理解为GFS和

GoogleMapReduce的开源实现。

接kl。Hadoop框架的主要组成部分是Hadoop分布式文件系统(HDFS)和MapReduce的实现。HDFS采用Master/Slave架构,一个HDFS集群由一个NameNode节点和一组DataNode节点组成。NameNode是一个中心服务器,负责管理文件系统的名字空问(NameSpace)以及客户端对文件的访问。在集群系统中,一般在一个节点上运行一个DataNode,负责管理它所在节点上的数据存储,并负责处理文件系统客户端的读写请求,在NameNode的统一调度下进行数据块的创建、删除和复制。Hadoop还实现了Google的MapReduce分布式计算模型,MapReduce把应用程序的总任务分割成许多子任务,每个子任务可以在任何集群节点(DataNode节点,通常也作为计算节点)上并行处理。HDFS创建了多份数据块(datablocks)的副本(Replicas),以保证各个子任务节点计算的可靠性(Reliability)。由于采用了分布式文件系统和MapRe—duce模型,因此Hadoop框架具有高容错性及对数据读写的高吞吐率,能自动处理失败节点。图1是Hadoop集群系统架构的示意图。

如图1所示,在Hadoop集群架构中,Client是需要获取分布式文件系统文件的应用程序,并且会有一台Master主要负责NameNode的工作以及JobTracker的工作。JobTracker在Hadoop集群中负责控制MapReduce应

Hadoop是一个可以更容易支持开发和并行处理大规模数据的分布式计算平台,其主要优点是:可扩展

(Scalable)、低成本(Economical)、高效(Efficient)、可靠(Reli—

able)。它完全使用Java开发的开源软件,因而可以广泛运行在多种软硬件平台上。本文分析和研究_『基于Hadoop的MapReduce编程模型的思想、计算流程和应用MapReduce模型实现分布式并行算法的方法,并设计了一套分布式并行随机数发生器算法验证用MapReduce解决并行计算问题的适用性和计算效率。

1

Hadoop框架的工作机制

Hadoop为应用程序透明地提供r一组稳定可靠的

4

万方数据

《微型机与应用》2010年第8期

第1页

你可能喜欢

热门文档

相关文档

  • 基于Hadoop+MapReduce模型的应用研究

    探讨了来自Apache开源的分布式计算平台Hadoop的核心设计MapReduce编程模型,并通过算法实验分析和研究了MapReduce模型的工作方式和应用方法。 关键词:分布式并行计算;Hadoop...

  • 基于Hadoop MapReduce模型的应用研究

    探讨了来自Apache开源的分布式计算平台Hadoop的核心设计MapReduce编程模型,并通过算法实验分析和研究了MapReduce模型的工作方式和应用方法。隐藏>> Sotr cnlg fwaeTehooy ...

  • 【论文】基于Hadoop的MapReduce模型的研究与改进

    基于Hadoop的MapReduce模型的研究与改进_专业资料。针对MapReduce模型中存在的多个Reduce任务之间完成时间差别较大的问题,分析了影响Reduce任务完成时间的因素,指出了...

  • 基于Hadoop的海量数据处理模型研究和应用

    北京邮电大学 硕士学位论文 基于Hadoop的海量数据处理模型研究和应用 姓名:朱珠 申请学位级别:硕士 专业:密码学 指导教师:胡正名 20080101 基于Hadoop的海量数据处理...

  • 基于Hadoop的MapReduce分析

    基于Hadoop的MapReduce分析_计算机软件及应用_IT/计算机_专业资料。基于Hadoop的MapReduce分析 张龙 目录 ? 1 MapReduce编程模型 ? 2 MapReduce能做什么,丌能做...

  • 基于Hadoop的移动学习模型研究

    基于Hadoop的移动学习模型研究 隐藏>> 技术与应用 文章编号: — 9860 (2011 )01 — 0124 — 05 1006 总第 288 期 中国电化教育 2011.1 基于 Ha d o o...

  • 基于Hadoop的云计算模型研究与应用

    本文的研究课题是基于 Hadoop 的云计算模型研究与应用,主要目标是:分析 传统 Hadoop 框架的性能瓶颈,设计一种新的 Hadoop 框架;在改进传统 Hadoop 框架的基础上,...

  • 【论文】基于Hadoop的贝叶斯过滤MapReduce模型

    基于Hadoop的贝叶斯过滤MapReduce模型_计算机软件及应用_IT/计算机_专业资料。第3 9卷 第11期 Vbl-39 ? 计 算 机 工 程 2013年11月 November 2013 NO.11 ...

  • 基于MapReduce模型的分布式Word文档破解

    基于MapReduce模型的分布式Word文档破解_计算机软件及应用_IT/计算机_专业资料。hadoop 云计算平台 mapreduce201 0年第1 9卷第3期 计算机系统应用 基于MapReduce...

  • 基于Hadoop的MapReduce框架研究报告

    基于Hadoop的Map/Reduce框 基于Hadoop的Map/Reduce框 Hadoop 架研究报告黄飞 Outline ? 1. 模型介绍: ? Hadoop 简介 ? MapReduce 计算模型 ? 2.实例分析 ? ...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email