压缩格式是否可以切分的特性是针对mapreduce处理数据而言的,比如我们有一个压缩为1GB的文件,如果hdfs块大小设置为(hdfs 块我的文章里没有讲解,不理解的童鞋可以先查查百度,以后我在写hdfs时候会重点讲这个的)64mb,那么这个文件将存储在16个块里,如果把这个文件 作为mapreduce作业的输入数据,mapreduce会根据这16个数据块,产生16个map操作,每个块都是其中一个map操作的输入,那么 mapreduce执行效率会非常的高,但是这个前提就是该压缩格式要支持切分。假如压缩格式不支持切分的话,那么mapreduce也是可以做出正确处 理,这时候它会将16个数据块放到一个map任务里面,这时候map任务数少了,作业粒度也变大了,那么执行效率就会大大下降。
由于本人知识还是有限,关于压缩和切入分片的问题我就讲述到这里,下面提供一篇相关的文章,有兴趣的童鞋可以看看,链接如下:
doc.guandang.net 7.hadoop序列化 我们先看两个定义:
序列化:是指将结构化对象转化为字节流,以便在网络上传输或写到磁盘上进行永久存储。
反序列化:是指将字节流转向结构化对象的逆过程。
序列化在分布式数据处理量大领域经常出现:进程通信和永久存储。
Hadoop中,各个节点的通信是通过远程调用(RPC)实现的,RPC将数据序列化成二进制后发送给远程节点,远程节点收到数据后将二进制字节流反序列化为原始数据。序列化在RPC应用中有着自己的特点,RPC序列化的特点是: 1. 紧凑:紧凑的格式能让我们能充分利用网络带宽,而带宽是数据中心最稀缺的资源; 2. 快速:进程通信形成了分布式系统的骨架,所以需要尽量减少序列化和反序列化的性能开销,这是基本的
3. 可扩展:协议为了满足新的需求变化,所以控制客户端和服务器过程中,需要直接引进相应的协议,这些事新协议,原序列化方式能支持心得协议报文
4. 互操作:能支持不同语言写的客户端和服务端进行交互
在hadoop里面有自己定义的序列化格式:writable,它是hadoop的核心之一。 Writable是一个接口,要实现hadoop的序列化就得实现该接口。因为时间原因,序列化我也不展开了,我下面也推荐一篇文章,里面讲述了hadoop的序列化,虽然讲的简单点,而且不全面,但是看完后对hadoop序列化的具体实现会有个初步的了解,链接如下:
hadoop学习笔记_计算机软件及应用_IT/计算机_专业资料。该文档介绍了三方面的...hadoop 用户,这里为了方便应用,将 hadoop 文件夹的属主用户设为 hadoop,如图 ...
Hadoop学习笔记_计算机软件及应用_IT/计算机_专业资料。目录第 1 章 Hadoop ...分布式存 储系统被称为 Hadoop 文件系统(HDFS) 。NameNode 位于 HDFS 的主端,...
Hadoop学习笔记整理_日语学习_外语学习_教育专区。Hadoop 学习笔记整理 hadoop ...Hadoop 的物理部署 HDFS(hadoop 文件系统) HDFS 介绍 HDFS 为了做到可靠性(...
Hadoop学习笔记(2) 暂无评价 5页 1下载券 喜欢此文档的还喜欢 hadoop集群...简而言之,Hadoop 提供了一个稳定的共享存储和分析系统,存储由 HDFS 实现,分析...
Hadoop Hadoop 的构成 l 最底部是 Hadoop Distributed File System(HDFS),存储 ...HDFS:Hadoop 分布式文件系统(Distributed File System)- HDFS (Hadoop Distributed...
Hadoop 学习笔记——IT进行时(Email & MSN:zhengxianquan@hotmail.com) 1. ...***/ Re-format filesystem in c:\temp\hadoop\dfs\name ? (Y or N) ...
2011年10月20日 14:54 hadoop学习笔记之一:初识hadoop 2010年12月14日 由 ...如果你对Hadoop不熟悉,下面这些名词你或许耳熟能详,Google File System、Google ...
Hadoop学习笔记_计算机软件及应用_IT/计算机_专业资料。hadoop,大数据,...Hadoop 的组成: Hadoop Core,是 Hadoop 的核心,提供了一个分布式文件系统(HDFS...
暂无评价0人阅读0次下载举报文档 Hadoop学习笔记_计算机软件及应用_IT/...hadoop 版本,不妨设为 hadoop [dbrg@dbrg-1:HadoopInstall]$ln -s hadoop0....
Hadoop 学习第一章 初识 Hadoop 分布式计算平台 —核心—>HDFS(分布式文件系统)和 MapReduce(Google MR 开源实现) 作用:有效存储和管理大数据 优势: * 高可靠 ...
热门文档