hadoop 云计算
实践与经验
基于Hadoop的云计算模型
林清滢
(韩山师范学院数学与信息技术系,潮州521041)
摘
要:Hadoop是一个更容易开发和并行处理大规模数据的分布式计算平台,也是目前最为广泛
应用的开源云计算软件平台。在对Hadoop平台上的分布式文件系统HDFS和计算模型
Map/Reduce进行深入分析和研究的基础上,给出基于Hadoop的云计算模型和实现步骤。
关键词:云计算;Hadoop;HDFS;Map/Reduce
0引言
云计算是分布式计算(DistributedComputing)、并行
计算(ParallelComputing)和网格计算(GridComputing)的发展与延伸,也是这些计算机科学概念的商业实现。
[1]
是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。
云计算是一种新兴的共享基础架构的方法,其基本原理是利用非本地或远程服务器集群为互联网用户提供服务(包括计算、存储、软硬件等服务),使得用户可以将资源切换到需要的应用上,根据需要访问计算机和存储系统。云计算真正实现了按需计算,从而有效地提高了对软硬件资源的利用效率。
HDFS由一个名叫NameNode的主节点和多个名叫DataNode的子节点组成,是一种典型的主从式(Master/Slave)架构,这种架构方法可以通过主节点屏蔽底层的复杂结构,并向Client提供方便的文件目录映射。NameNode存储着文件系统的元数据,这些元数据包括文件系统的名字空间等,并负责管理文件的存储等服务,但实际的数据并不存放在NameNode,而是由HDFS中的DataNode来存放数据,然后由Client直接与DataNode建立数据通信。
此外,HDFS为了可靠地海量存储文件,各个文件以块序列的形式存储。为了保证故障容错,文件的块被复制。块的大小和副本的个数都可以配置。一般地,默认的
1Hadoop的云计算架构体系
Hadoop[3]是Apache软件基金会(ApacheSoftware
Foundation)组织下的一个开源项目,提供分布式计算环境下的可靠、可扩展软件。它可以帮助我们方便地在普通硬件上架设自己的大规模机群系统,它是现在实现云计算的一个主要可选方式之一。Hadoop项目包括多个子项目,但主要是由Hadoop分布式文件系统
HDFS的数据块的大小是64M,也就是说如果放置到HDFS上的数据小于64M,那么将只有一个数据块,此时会被放置到某一个DataNode中;NameNode控制所有的块复制操作。它周期性地接收来自集群中DataNode的“心跳”回应和块报告。收到一个节点的“心跳”回应表示这个DataNode是正常的。一个块报告包括该数据节点上的所有的块列表。HDFS的体系结构如图1所示。
从图中可以看出NameNode、DataNode和Client三者之间的交互关系,例如文件写入操作流程:
(1)Client向NameNode发起文件写入的请求;(2)NameNode根据文件大小和文件块配置情祝,返回给Client它所管理部分DataNode的信息;
HDFS(HadoopDistributedFileSystem)和映射/规约引擎(Map/ReduceEngine)两个主要的子项目构成。这两个子项目构成了Hadoop的主要框架。
1.1分布式文件系统HDFS
HadoopHDFS被设计成适合运行在通用硬件上的分布式文件系统,它和现有的分布式文件系统有很多共同点,但同时,它和其他的分布式文件系统的区别也
收稿日期:2010-05-13
修稿日期:2010-05-20
作者简介:林清滢(1970-),女,广东潮州人,副教授,硕士,研究方向为分布式计算、智能计算
貥貗貋
现代计算机2010.07
探讨了来自Apache开源的分布式计算平台Hadoop的核心设计MapReduce编程模型,并通过算法实验分析和研究了MapReduce模型的工作方式和应用方法。...
本文的研究课题是基于 Hadoop 的云计算模型研究与应用,主要目标是:分析 传统 Hadoop 框架的性能瓶颈,设计一种新的 Hadoop 框架;在改进传统 Hadoop 框架的基础上,...
Technology and Study·技术探讨 基于Hadoop云计算模型探究李 (汕头市经贸职业技术学校 广东汕头 515041) 【摘要】 云计算是并行计算、 分布式计算和网格计算的发展...
介绍了基于hadoop的云计算模型。介绍了基于hadoop的云计算模型。隐藏>> 第9 第9 卷期 21年 9月 00 软件导刊 SfwaeGud otr ie Vo. . 1N099 Se20p.01 云...
介绍了云计算的关键技术,这些技术包含虚拟机和计算模 型等,还基于Hadoop对云计算模型进行了研究。 关键词:云计算;云计算关键技术;云计算计算模型;Hadoop 中图分类...
2010 云计算关键技术及基于 Hadoop 的云计算模型研究洪 沙,杨深远 (重庆大学 软件学院,重庆 400030 )摘要:云计算是在网格计算基础上新兴的计算模型 ,是互联网...
(论文 题目 设计 论文)题目: 论文 题目: 专 题题 目: 姓名: 姓名: 基于 Hadoop 的云计算研究与实现 QQ 122414395 学号: 学号: 200707024115 计算机系 刘宗奇...
〔1〕 刘鹏. 云计算〔 M. 北京: 电了工业出版社, 2010.〕〔2〕 朱珠. 基于 Hadoop 的海量数据处理模型研究和应用〔 M.〕 北京: 北京邮电人学, 2008.〔...
本科毕业设计(翻译) 题目: 基于 Hadoop 的云计算平台搭建 学生姓名 教学院系 ...MapReduce是一个编程模型,也是一个处理和生成超大数据集的算法模型的相关 实现。...
热门文档