文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 计算机硬件及网络 > 再生码(Regenerating Codes)开山之作
侵权投诉

再生码(Regenerating Codes)开山之作

翻译《Network Coding for Distributed Storage Systems》,第一篇讲再生码(Regenerating Codes)的文章,发表在infocom2007 中

应用于分布式存储的网络编码

AlexandrosG.Dimakis,P.BrightenGodfrey,

MartinJ.WainwrightandKannanRamchandran

翻译:dullgull

摘要

摘要—P2P分布式存储系统通过冗余方法将数据分布到Internet上各个节点上保证可靠性。其中的一个关键就是减少保证这种冗余的维持带宽。使用纠错码将文件分为多个分片保存在不同节点上,较副本策略保证同样的可靠性下需要更少的冗余数据和更小的维持带宽。然而,既然分片必须周期性地在节点失效后重建,一个关键问题就是如何以分布式的方式生成一个新的分片,同时保证通过网络传输的数据尽可能的少。

在这篇文章中,我们引入一个一般性的技术来分析融合任何形式编码和副本的存储架构,同时提出两个使用纠错码维持冗余的新方案。首先,我们将展示如何从现有的系统中以最优的方式生成MDS分片。其次,我们引入一个新的称为再生码的方案,它仅比MDS具有稍大一些的分片,却比MDS具有更低的整体带宽使用。我们通过在真实环境中的仿真发现,再生码和之前最优设计—副本和纠删码混合策略,能够减少25%甚至更多的维持带宽,同时也简化了系统设计。1引言

Oceanstore,TotalRecall和DHash++这类分布式存储系统目的就是使用一群分布式的磁盘(即是Internet上不同节点)集合上长期、可靠地保存数据。保证可靠性需要引入冗余,最简单的方法就是直接使用副本。

有一些设计则是使用了纠错码。最大距离可分码(MDS)将Mbytes大小文件分为n个分片保存,每个分片M/kbytes大小,其中任意k个分片可以重建出原始文件。

然而,一个问题随之而来:在分布式存储系统中,当节点失效或者磁盘故障,冗余必须不断地被刷新,这样就会导致大量数据在网络上传输。我们如何高效地重建新的分片来应对这种失效呢?一个新的分片副本应该直接从其他保存该分片的节点复制过来,但是传统的纠错码需要通过原始数据来产生一个新的编码分片。我们如何只访问纠错码分片来生成一个纠错码分片?

在初始策略中,保存新的分片的节点—我们将称其为新手—下载k个分片并重建文件,并从原始文件中生成新的编码分片。因此,传输了Mbytes的数据却只产生了M/k大小的分片。为了减少带宽的使用,人们必须使用称为混合策略的方法:既维持着一个副本,还存在着多个纠错编码的数据分片。保存着副本的节点可以产生新的分片并发送给新手,因此为每个新的分

第1页

你可能喜欢

热门文档

相关文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email