
软件天地
文件上,并将这个新版本的映像文件从内存中保存到本地磁盘上,然后删除旧的编辑日志。这个过程称为一个检查点(check-point)。
数据节点将数据以文件的形式存储在本地的文件系统中,它用试探的方法来确定每个目录的最佳文件数目,并且在适当
当一个存储节点启动时,它会扫描本地文件的时候创建子目录。
系统,产生一个与这些本地文件对应的所有HDFS数据块的列表,然后作为报告发送到管理节点,这个报告称为块状态报告。
3)数据组织
客户端创建文件的请求并不是立即发送给管理节点。开始时客户端会先将文件数据缓存到本地的一个临时文件,当这个临时文件累积的数据量超过一个数据块(64M)的大小,客户端才会联系管理节点。管理节点将文件名插入文件系统的层次结构中,并且分配一个数据块给它,然后返回数据节点标识符和目标数据块给客户端。接着客户端将这块数据从本地临时文件上传到指定的数据节点上。当文件关闭时,在临时文件中剩余的没有上传的数据也会传输到指定的数据节点上。此时管理节点才将文件创建操作提交到日志里进行存储。
3.2分布式计算模型
分布式计算模型Map/Reduce分为Map和Reduce两部分。Map是将任务分解成n个子任务并下发到相应的节点服务器,各个节点服务器并行的在当地执行任务,并把结果整合返回给中心服务器。数据的存储操作,同样是调用Map/Reduce,将数据下发给节点服务器。这样的并行处理能够保证对数据处理的高速性。
1)Map
Map(in_key,in_value)->list(out_key,intermediate_value)。Map函数由用户编写,将输入的<key_value>对转换为一组中间结果。
映射操作是并行的,输入文件集合先被划分为几个“文件片断”,如果单个文件的大小达到会影响搜索时间的程度则将这个
“片段”。文件划分过程不用考虑输入文件的文件也划分为几个
内部逻辑结构。当一个Map任务开始时,对应的会按照规约任务配置好的打开一个新的输出文件进行写操作,然后映射任务会使用从指定的输入格式类获得的记录读取类来读取它的文件块属性。输入格式类负责解析输入,并生成键/值对。用户提供的Map对象会按照定义好的规则去处理输入键/值对,然后调用
输出结果使用一个keyOutputCollector.collect方法选择键/值对。
类和value类。当Map对象的输出被收集齐之后将会对输出对象进行划分。默认的HashPartitioner对象使用hashcode函数作用于key类。
2)Reduce
Reduce(out_key,list(intermediate_value))->list(out_value)。Reduce函数由用户编写,将key相同的中间结果转换为最终结果。
对于规约过程,需要先将由映射任务产生的文件拷贝到规约任务所在节点的本地文件系统中。一旦本地数据准备就绪所有的数据都会以追加到文件的方式运行在一个追加阶段。然后经过排序阶段以保证给定一个索引键的所有键/值对是连续排列的。文件被顺序读入后,输入文件中的一个索引键的所有键/值对会被一个迭代器顺次传递给reduce处理,直到下一个索引键开始。输出文件的格式由JobConf.setOutputFormat方法来指定。
邮局订阅号:82-946360/年-203-
应用接口层:提供对于不同应用的交互接口,以满足不同用户的需求。
数据库访问层:数据库访问层可以屏蔽数据库之间的异构性,能够以服务的方式对外提供数据库访问功能,灵活性比较好,方便运行部署和管理。
数据处理层:数据处理层是中间件服务器的核心部分,包括系统支撑服务和数据处理服务。①系统支撑服务由负载平衡服务、系统管理模块和日志管理模块等组成。其中负载平衡服务用于存储节点的负载均衡和容错管理;系统管理模块用于软件的管理,包括运行状态监测、系统远程部署、自主运行维护等;日志管理模块用于软件运行的日志管理,包括系统运行轨迹、关键事件和状态记录等。②数据处理服务包括并行查询模块、并行加载存储模块、数据字典模块和备份恢复模块。其中并行查询模块提供并行查询、用户自定义事务处理等功能;并行加载存储模块提供对海量数据的并行加载与存储功能;数据字典模块为中间件服务器配置一个全局数据字典,用于维护并行数据库的元数据信息。
3海量数据的分布式存储与分布式
计算
根据前面Hadoop的介绍及本系统的需求,在此,我们采用Hadoop分布式应用平台来实现此海量数据管理系统。
3.1分布式文件系统
HDFS是Hadoop应用中必不可少的一个分布式文件系统,它将海量数据分布存储在一个大集群的多台计算机上,把文件进行分块存储,为实现容错自动进行分块复制。
1)管理节点和数据节点
HDFS采用主/从架构,由一个管理节点(Namenode)和多个数据节点(Datanode)组成。管理节点是中心服务器,负责管理文
关闭、件系统的名字空间以及客户端对文件的访问,比如打开、
重命名文件或目录,同时它还决定了数据块和数据节点的映射
集群中每一个节点配置关系,也可称为管理文件系统的元数据。
一个数据节点,负责管理本节点上的数据存储,并处理客户端的
删除和复制。从内部看,一个文件读写请求,进行数据块的创建、
被分成一个或多个数据块,存储在一组数据节点上。HDFS的架构如图3所示。
技术创新
图3HDFS架构
2)文件系统元数据
任何对文件系统元数据产生修改的操作,管理节点都会使用编辑日志(Editlog)记录下来。文件系统的名字空间,包括数据块到文件的映射、文件的属性等,都存储在映像文件(FsImage)中。内存中保存着整个文件系统的名字空间和文件数据块映射(Blockmap)的映像。当管理节点启动时,它从硬盘中读取编辑日志和映像文件,将所有编辑日志中的事务作用在内存中的映像PLC技术应用200例》
本文在 分析了海量图像数据的产生与应用的具体背景之后,根据Had00p系统在存储和 管理网页数据与同志数据等的成功,研究了基于Hadoop系统的大规模海量图像 数据管理问题...
该系统安全可靠 、 易维护 、 具有良好的可扩展性 . 海洋科学数据 ; 分布式计算 关键词 海量数据存储 ;Hadoop;中图法分类号 TP311.13 北部湾经 济区发展...
本文在研究开源框架 Hadoop 的基础上,开发实现 了基于 Hadoop 的海量农业资源管理平台。 图1 系统结构与功能模块 2.1 资源元数据管理 资源元数据管理实现基于 ...
基于Hadoop的校园教育资源管理系统_互联网_IT/计算机_专业资料。ISSN 1009-3044 E—mail:xsjl@dnzs.net.cn http://www.dnzISSN 1009-3044 E—mail:xsjl@dnzs...
Hadoop 平台的性能优化研究[J].计算机工程, 2010,(14) . [2] 多雪松,张晶,高强. 基于 Hadoop 的海量数据管理系统[J].微计算机信息, 2010,(13) . [3] ...
hadoop学习视频教程07 - YARN资源管理系统(1)_管理学_高等教育_教育专区。北风网hadoop学习视频教程《基于Hadoop2.0、YARN技术的大数据高阶应用实战(Hadoop2.0\...
hadoop学习视频教程08 - YARN资源管理系统(2)_管理学_高等教育_教育专区。北风网hadoop学习视频教程《基于Hadoop2.0、YARN技术的大数据高阶应用实战(Hadoop2.0\...
基于表结构的海量数据管理系统技术综述_专业资料。研究综述计算机与现代化 2010...—Broker的抽象接口来访问不同的分布式文件系统, 如:HDFS一1(Hadoop 和本地...
能够对数据集进行管理 是数据管理系统很重要的特性之一,这一点 HDFS 是不具备...有人把 Hadoop 归类为海量数据处理技术, 但是 Hadoop 真正的价值却是对多样化 ...
尤其是近年来提出的 Hadoop分布式文件系统和MapReduce编程框架,对于某些特定的大规模数据,有 很好的处理能力。 正是基于海量遥感影像数据面临的管理挑战下,本文研究和...
热门文档