文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 互联网 > hadoop学习笔记:hadoop文件系统浅析
侵权投诉

hadoop学习笔记:hadoop文件系统浅析

hadoop学习笔记:hadoop文件系统浅析

有了这张表,大家对FileSystem的理解应该会清晰多了吧。

大家从对照表里会发现,hadoop的FileSystem里有两个类:FSDataInputStream和 FSDataOutputStream类,它们相当于java I/O里的InputStream和Outputsteam,而事实上这两个类是继承java.io.DataInputStream和 java.io.DataOutputStream。

至于关于hadoop I/O本文今天不做介绍,以后也许会专门写篇文章讲讲我自己的理解,不过为了给大家一个清晰的印象,我在博客园里找到了两篇文章,有兴趣的童鞋可以好好看看看,连接如下:

doc.guandang.net doc.guandang.net 5.数据的完整性

数据完整性也就是检测数据是否损坏的技术。Hadoop用户肯定都希望系统在存储和处理数据时候,数据不会有任何的丢失或损坏,尽管磁盘或网络上的 每个I/O操作都不太可能将错误引入到自己正在读写的数据里,但是如果系统需要处理的数据量大到hadoop能够处理的极限,数据被损坏的概率就很高了。 Hadoop引入了数据完整性校验的功能,下面我将其原理描述如下:

检测数据是否损坏的措施是,在数据第一次引入系统时候计算校验和(checksum),并在数据通过一个不可靠的通道时候进行传输时再次计算校验 和,这样就能发现数据是否损坏了,如果两次计算的校验和不匹配,你就认为数据已经损坏了,但是该技术不能修复数据,它只能检测出错误。常用的错误检测码是 CRC-32(循环冗余校验),任何大小的数据输入均计算得到一个32位的整数校验和。 6.压缩与输入分片

上一页第3页

TOP相关主题

你可能喜欢

热门文档

相关文档

  • hadoop学习笔记

    hadoop学习笔记_计算机软件及应用_IT/计算机_专业资料。该文档介绍了三方面的...hadoop 用户,这里为了方便应用,将 hadoop 文件夹的属主用户设为 hadoop,如图 ...

  • Hadoop学习笔记

    Hadoop学习笔记_计算机软件及应用_IT/计算机_专业资料。目录第 1 章 Hadoop ...分布式存 储系统被称为 Hadoop 文件系统(HDFS) 。NameNode 位于 HDFS 的主端,...

  • Hadoop学习笔记整理

    Hadoop学习笔记整理_日语学习_外语学习_教育专区。Hadoop 学习笔记整理 hadoop ...Hadoop 的物理部署 HDFS(hadoop 文件系统) HDFS 介绍 HDFS 为了做到可靠性(...

  • Hadoop学习笔记_yedu

    Hadoop学习笔记(2) 暂无评价 5页 1下载券 喜欢此文档的还喜欢 hadoop集群...简而言之,Hadoop 提供了一个稳定的共享存储和分析系统,存储由 HDFS 实现,分析...

  • hadoop学习笔记

    Hadoop Hadoop 的构成 l 最底部是 Hadoop Distributed File System(HDFS),存储 ...HDFS:Hadoop 分布式文件系统(Distributed File System)- HDFS (Hadoop Distributed...

  • hadoop学习笔记(一)

    Hadoop 学习笔记——IT进行时(Email & MSN:zhengxianquan@hotmail.com) 1. ...***/ Re-format filesystem in c:\temp\hadoop\dfs\name ? (Y or N) ...

  • hadoop学习笔记

    2011年10月20日 14:54 hadoop学习笔记之一:初识hadoop 2010年12月14日 由 ...如果你对Hadoop不熟悉,下面这些名词你或许耳熟能详,Google File System、Google ...

  • Hadoop学习笔记

    Hadoop学习笔记_计算机软件及应用_IT/计算机_专业资料。hadoop,大数据,...Hadoop 的组成: Hadoop Core,是 Hadoop 的核心,提供了一个分布式文件系统(HDFS...

  • Hadoop学习笔记

    暂无评价0人阅读0次下载举报文档 Hadoop学习笔记_计算机软件及应用_IT/...hadoop 版本,不妨设为 hadoop [dbrg@dbrg-1:HadoopInstall]$ln -s hadoop0....

  • Hadoop学习笔记

    Hadoop 学习第一章 初识 Hadoop 分布式计算平台 —核心—>HDFS(分布式文件系统)和 MapReduce(Google MR 开源实现) 作用:有效存储和管理大数据 优势: * 高可靠 ...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email