一,组件失败成为一种常态而不是异常
二,与传统的标准相比,文件是巨大的
三,大部分的文件更新模式是通过在尾部追加数据而不是覆盖现有数据
四,应用程序和文件系统api的协同设计,增加了整个系统的灵活性
Master维护所有的文件系统元数据。包括名字空间,访问控制信息,文件与chunk的映射信息,chunk的当前位置。它也控制系统范围内的一些活动,比如chunk租赁管理,僵死chunk的垃圾回收,chunkserver间的chunk迁移。Master与chunkserver通过心跳信息进行周期性的通信,以发送指令和收集chunkserver的状态。
客户端或者chunkserver都不会进行文件数据缓存。Chunkserver不需要进行文件数据缓存,是因为chunk是作为本地文件存储,这样linux自身会将那些经常访问的数据进行缓存
Chunk大小是一个关键的设计参数。我们选择了64mb。每个chunk的副本作为普通的linux文件存储在chunkserver上。
如果很多的client都需要访问这个文件,这样那些存储了这些chunk的

chunkserver就会变成热点。实际中,热点还没有成为一个主要的考虑点因为我们的应用绝大部分都是在顺序读大的多chunk文件。我们通过更高的备份级别存储这样的可执行文件以及减慢队列系统的应用程序启动时间解决了这个问题。一个潜在的长远的解决方案是在这种情况下,允许客户端从其他客户端读取数据。
2.6.2 chunk location
通过周期性的心跳信息来监控chunkserver
检查点保存了一个压缩的类B树的结构,不需要额外的解析就可以直接映射到内存用于名字空间查找。这大大提高了恢复的速度和可用性。
暂无评价0人阅读0次下载举报文档 【google论文二】Google文件系统(中)_计算机软件及应用_IT/计算机_专业资料。今日推荐 78份文档 ...
cs3简单制作动态搞笑图片67份文档 九妖笑话 2014年笑话大全之让你笑个够 儿童笑话大全爆笑 爆笑笑话精选2014 Baidu 使用百度前必读 文库协议...
(Google Google 文件系统(Google File System) System)论文 1. 简介我们设计并实现了 Google 文件系统(Google File System - GFS),用来满足 Google 迅速增长 的...
gfs(google文件系统论文翻译)_计算机软件及应用_IT/计算机_专业资料。GFS论文中文翻译摘要 我们已经设计和实现了 Google File System,一个适用于大规模分布式数据...
【google论文二】Google文... 3页 免费 Google文件系统--BigTable 17页 1财富值 Google GFS文件系统深入分... 34页 1财富值 Google文件系统(Google Fi......
加入会员!获取文档下载券 Google全集——fans收藏(二) Google全集——fans收藏(二)Google全集——fans收藏(二)隐藏>> 雾善≥耋≤ 罐 舜 就是 维普资讯 http://...
GOOGLE,世界第二?_专业资料。不管谷歌在中国如何受限制,但是W它的招牌在全... 文档贡献者 维普网 中国最大最早的专业内容网站 0 0 0.0 文档数 浏览总量...
WEB GIS应用逐渐普及,但独立开发和运营WEBGIS系统对中小企业负担太重。在开放的...相关文档推荐 Google Maps组件二次开发... 23人阅读 6页 2.00 Google...
we S应 用逐 渐普 及 ,但独 立开发 和运营we S系统 对 中小 企业 负担... 文档贡献者 维普网 中国最大最早的专业内容网站 0 0 0.0 文档数 浏览总量...
相关文档推荐 Google 6人阅读 2页 2.00 谷歌叫板 8人阅读 2页 1.00 探访Google 4人阅读 2页 1.00 Google书签 44人阅读 1页 0.50 三英...
热门文档