文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 高等教育 > 工学 > 基于Hadoop的云计算模型
侵权投诉

基于Hadoop的云计算模型

Hadoop,云计算

实践与经验

基于Hadoop的云计算模型

林清滢

(韩山师范学院数学与信息技术系,潮州521041)

摘

要:Hadoop是一个更容易开发和并行处理大规模数据的分布式计算平台,也是目前最为广泛

应用的开源云计算软件平台。在对Hadoop平台上的分布式文件系统HDFS和计算模型

Map/Reduce进行深入分析和研究的基础上,给出基于Hadoop的云计算模型和实现步骤。

关键词:云计算;Hadoop;HDFS;Map/Reduce

0引言

云计算是分布式计算(DistributedComputing)、并行

计算(ParallelComputing)和网格计算(GridComputing)的发展与延伸,也是这些计算机科学概念的商业实现。

[1]

是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。

云计算是一种新兴的共享基础架构的方法,其基本原理是利用非本地或远程服务器集群为互联网用户提供服务(包括计算、存储、软硬件等服务),使得用户可以将资源切换到需要的应用上,根据需要访问计算机和存储系统。云计算真正实现了按需计算,从而有效地提高了对软硬件资源的利用效率。

HDFS由一个名叫NameNode的主节点和多个名叫DataNode的子节点组成,是一种典型的主从式(Master/Slave)架构,这种架构方法可以通过主节点屏蔽底层的复杂结构,并向Client提供方便的文件目录映射。NameNode存储着文件系统的元数据,这些元数据包括文件系统的名字空间等,并负责管理文件的存储等服务,但实际的数据并不存放在NameNode,而是由HDFS中的DataNode来存放数据,然后由Client直接与DataNode建立数据通信。

此外,HDFS为了可靠地海量存储文件,各个文件以块序列的形式存储。为了保证故障容错,文件的块被复制。块的大小和副本的个数都可以配置。一般地,默认的

1Hadoop的云计算架构体系

Hadoop[3]是Apache软件基金会(ApacheSoftware

Foundation)组织下的一个开源项目,提供分布式计算环境下的可靠、可扩展软件。它可以帮助我们方便地在普通硬件上架设自己的大规模机群系统,它是现在实现云计算的一个主要可选方式之一。Hadoop项目包括多个子项目,但主要是由Hadoop分布式文件系统

HDFS的数据块的大小是64M,也就是说如果放置到HDFS上的数据小于64M,那么将只有一个数据块,此时会被放置到某一个DataNode中;NameNode控制所有的块复制操作。它周期性地接收来自集群中DataNode的“心跳”回应和块报告。收到一个节点的“心跳”回应表示这个DataNode是正常的。一个块报告包括该数据节点上的所有的块列表。HDFS的体系结构如图1所示。

从图中可以看出NameNode、DataNode和Client三者之间的交互关系,例如文件写入操作流程:

(1)Client向NameNode发起文件写入的请求;(2)NameNode根据文件大小和文件块配置情祝,返回给Client它所管理部分DataNode的信息;

HDFS(HadoopDistributedFileSystem)和映射/规约引擎(Map/ReduceEngine)两个主要的子项目构成。这两个子项目构成了Hadoop的主要框架。

1.1分布式文件系统HDFS

HadoopHDFS被设计成适合运行在通用硬件上的分布式文件系统,它和现有的分布式文件系统有很多共同点,但同时,它和其他的分布式文件系统的区别也

收稿日期:2010-05-13

修稿日期:2010-05-20

作者简介:林清滢(1970-),女,广东潮州人,副教授,硕士,研究方向为分布式计算、智能计算

20

第1页

你可能喜欢

热门文档

相关文档

  • 基于Hadoop的云计算模型

    实践与经验 基于 Hadoop 的云计算模型林清滢(韩山师范学院数学与信息技术系,潮州 521041 )摘要: Hadoop 是一个更容 易开 发和 并行 处理 大规 模数 据的 ...

  • 【论文】基于Hadoop云计算模型探究

    探讨了来自Apache开源的分布式计算平台Hadoop的核心设计MapReduce编程模型,并通过算法实验分析和研究了MapReduce模型的工作方式和应用方法。...

  • 基于Hadoop的云计算模型研究与应用

    本文的研究课题是基于 Hadoop 的云计算模型研究与应用,主要目标是:分析 传统 Hadoop 框架的性能瓶颈,设计一种新的 Hadoop 框架;在改进传统 Hadoop 框架的基础上,...

  • 基于Hadoop云计算模型探究

    Technology and Study·技术探讨 基于Hadoop云计算模型探究李 (汕头市经贸职业技术学校 广东汕头 515041) 【摘要】 云计算是并行计算、 分布式计算和网格计算的发展...

  • 云计算关键技术及基于Hadoop的云计算模型研究

    介绍了云计算的关键技术,这些技术包含虚拟机和计算模 型等,还基于Hadoop对云计算模型进行了研究。 关键词:云计算;云计算关键技术;云计算计算模型;Hadoop 中图分类...

  • 云计算关键技术及基于Hadoop的云计算模型研究

    介绍了基于hadoop的云计算模型。介绍了基于hadoop的云计算模型。隐藏>> 第9 第9 卷期 21年 9月 00 软件导刊 SfwaeGud otr ie Vo. . 1N099 Se20p.01 云...

  • 云计算关键技术及基于Hadoop的云计算模型研究

    2010 云计算关键技术及基于 Hadoop 的云计算模型研究洪 沙,杨深远 (重庆大学 软件学院,重庆 400030 )摘要:云计算是在网格计算基础上新兴的计算模型 ,是互联网...

  • 基于Hadoop的云计算研究与实现

    (论文 题目 设计 论文)题目: 论文 题目: 专 题题 目: 姓名: 姓名: 基于 Hadoop 的云计算研究与实现 QQ 122414395 学号: 学号: 200707024115 计算机系 刘宗奇...

  • 基于Hadoop的云计算基础架构分析

    〔1〕 刘鹏. 云计算〔 M. 北京: 电了工业出版社, 2010.〕〔2〕 朱珠. 基于 Hadoop 的海量数据处理模型研究和应用〔 M.〕 北京: 北京邮电人学, 2008.〔...

  • 基于Hadoop云计算平台的海量文本处理研究

    可移植性强, 为个人和企业进行云计算方面的研 究和应用奠定了基础, 基于 Hadoop 云计算平台, 使用 MapReduce 模型进行大规模数据分析目前已经 成为一个重要的...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email