计算机光盘软件与应用
2011年第9期
ComputerCDSoftwareandApplications
软件设计开发
基于Hadoop分布式文件系统的分析与研究
王跃
(中海油气电集团国际贸易公司,北京100027)
摘要:通过对HDFS(Hadoop的一个分布式文件系统)以及Map/Reduce数据驱编程模型和HB舔e分布式的、列存储
数据库和Hive分布式数据仓库的分析。可以得到Hadoop的优势在于能以批处理模式处理PB级以上的数据集,适合做离线的数据分析,不适合实时响应需求,如股票系统。客户端是打包成IAR文件形式,运行于Hadoop命令行界面,可以定制执行策略,当数据到来的时候运行Map/ReducerS-_-序,可以手动执行也可以定时执行。可以用Map/Reduce作为BI等海量数据分析平台的分布式数据处理引擎,HDFS作为底层存储文件系统。
关键词:Hadoop;Map/Reduce;HDFS;云计算中图分类号:TP393文献标识码:A文章编号:1007-9599(2011)09—0161-02
AnalysisandResearchHadoop—basedDistributedFileSystem
WangYue
(CNOOC
Gas&PowerGroupInternationalTradeCorporation,Beijing100027,China)
Abstract:ThroughtheHDFS(HadoopDistributedFileSystem),andMap/ReducedatadrivenprogrammingmodelandHBase
distributed,columnstore
databaseandHive
DistributedDataWarehouseanalysis
andcomparison.Hedoop
hastheadvantageCanbe
able
to
dealwithPB
abovebatchmode
data
set,suitablefor
ominedata
analysis.is
not
suitable
for
real—time
response
requirements,suchas
stock
sysmm.neclient
side
is
packaged
into
a
JARfile
form.s.running
011
Hadoopcommand.1ine
interface,customerCan
customizetheimplementationstrategy,whenthedatacomeswhichMap/Reduceprocessbo#ntorunning
timelyor
manually.Use
Hbase
as
datastorageandaccess,ratherthandirect吣eofHDFS.UseMap/Raducemassivedataanalysis
such
as
theBl
platformfordistributeddataproc嚣singengine,HDFS雒theunderlyingstoragefilesystem.
Keywords:Hadoop;Map/Rcduce;HDFS;Cloud-computing一、引言
一个IDFS集群是由一个Namenode和一定数目的Datanodes组成。(一)Hadoop简介
Namenode是一个中心服务器,负责管理文件系统的名字空间纽约证券交易所,每天产生ITB的交易数据,著名社交网站(namespace)以及客户端对文件的访问。Namenode执行文件系Facebook,主机存储着约100亿张照片,占据PB级存储空间。统的名字空问操作,比如打开、关闭、重命名文件或目录。它也Ancestry.com,一个家谱网站,存储着2.5PB数据,互联网档案负责确定数据块到具体Datanode节点的映射。Datanode负责处馆(TheInternetArchive),存储着约2PB数据,并以每月至理文件系统客户端的读写请求。
少20TB的速度增长。
HDFS特点:
读取速度和时间如F表:
1.能访问超大文件。2.流式数据访问方式。HDFS应用对文件
时间传输速度(访问速度)
读取全部数据所需时间
要求的是write-one-read-many访问模型,一个文件经过创建、1990年4.4MB/s5分钟写,关闭之后就不需要改变。这一假设简化了数据一致性问题,2010年
100MB/s
2.5小时以上
使高吞吐量的数据访问成为可能。3.商务硬件。Hadoop不需要运问题:怎样存储和分析这些海囊数据,如何保证数据访问速行在昂贵并且高可靠性的硬件上,它被设计运行在商用硬件的集度?
群上,因此至少对于大的集群来说,节点故障的几率还是较高的。解决办法:在多个磁盘上并行读写数据。硬件故障需要考虑,f{DFS在面对这种故障时,被设计为能够继续运行而让用户察觉不通过某种方式把数据合并起来,如何保证数据的正确性。于是到明显的中断。4.低延迟访问不适合HDFS。需要低延迟访问数据Hadoop就在这种情况下产生,Hadoop提供了一个稳定的共享存储在毫秒范围内的应用并不适合HDFS。HDFS是为达到高数据吞吐量和分析系统,存储由RDFS实现,分析由MapReduce实现。
而优化的,这有可能会以延迟为代价。目前,对于低延迟访问在整个集群当中,文件由hadoopblock负责存储,并作为HBase是更好的选择。5.大量小文件。名称节点(namenode)存Map/Reduce架框的输入数据来源,Map/Reduce会根据文件大小和储着文件系统的元数据,因此文件数量的限制也由名称节点的内Block大小决定生成多少个splits,因而决定生成多少个Map任存量决定。根据经验,每个文件,索引目录以及块占大约150个务,并且Map任务会根据splits来获得记录迭代器,从而读取记字节。因此,举例来说,如果有一百万个文件,每个文件占一个录并生成key/value对来调用自定义map函数,此过程是不断循块,就至少需要300MB的内存。虽然存储上百万的文件是可行的,环的直到读完所有数据为止。默认为一个reduce任务,所有Map十亿或更多的文件就超出目前硬件的能力了。6.单用户写入,不任务的输出都是输入给reduce任务,以这种串行的方式处理数支持任意位置修改文件。HDFS中的文件只有一个写入者,而且写据,实际使用时,应根据配置灵活设置reduce任务以获得效率。
操作总是在文件的末尾。它不支持多个写入者,或是在文件的任二、Hadoop工作原理
意位置修改。
(,)HDFS架构(HadoopDistributedFileSystem)
(二)Map/Reduce分布式计算架构
哪Fs是为以流式数据访问模式存储超大文件而设计的文件原文件经过Map函数处理之后,由KI/Vl对转换成K2/v2对,系统,运行在低廉的硬件集群上,DFS采用Master/slaves架构,
再通过Map/Reduce框架处理后传给reduce函数,此过程是对
一16l一
万方数据
Hadoop分布式文件系统的模型分析_专业资料。Hadoop分布式文件系统是遵循Google文件系统原理进行开发和实现的,受到了业界极大关注,并已被广泛应用。鉴于当前缺乏从系统...
本文有助于研究者系统、深入地研究 Hadoop 分布式文件系统的设计与实现 ,并为云计算背景下的分布式文件系统设计提供重要的参考。 关键词 Hadoop 分布式文件系统;系统...
鉴于当前缺乏从系统设计理论的角度对其开展的相关研究,本文从Hadoop分布式 文件系统架构的建模人手.通过对模型各组成部分进行分析.并将其与传统的分布式文件系统进 行...
2008-11-04 分布式文件系统源代码详细解析( 源代码详细解析 Hadoop 分布式文件系统源代码详细解析(一)关键字: 关键字: 分布式 云计算 经济不行啦,只好潜心研究...
Hadoop分布式文件系统架构和源码分析报告_IT/计算机_专业资料。云计算,云存储以及分布式虚拟存储在现在成为了炙手可热的话题以及未来数据存储的主流方向。各大数据...
Hadoop 分布式文件系统:架构和设计要点 原文:http://hadoop.apache.org/core/docs/current/hdfs_design.html 一、前提和设计目标 1、硬件错误是常态,而非异常情况...
翻译原文地址 http://user.qzone/165162897/blog/1260375360 第三章 Hadoop 分布式文件系统(一)编辑 删除 权限设置 更多▼ 更多▲ ? ? ? 设置...
鉴于当前缺乏从系统设 计理论的角度对其开展的相关研究,本文从Hadoop分布式文件系统架构 的建模人手.通过对模型各组成部分进行分析.并将其与传统的分布式 文件系统...
基于Hadoop集群的分布式日志分析系统研究_文学研究_人文社科_专业资料。基于Hadoop...Hadoop主要由两部分构成:Hadoop分布式文件系统(HDFS)和在 log中日志格式如下: ...
论文主要设计并实现 Hadoop 分布式文件系统 MapReduce 并行计算编程模型下近似谱聚类算 法对大规模高维数据的聚类。通过研究 Mapper 和 Reducer 并行编程流程及 ...
热门文档