翻译《Network Coding for Distributed Storage Systems》,第一篇讲再生码(Regenerating Codes)的文章,发表在infocom2007 中
应用于分布式存储的网络编码
AlexandrosG.Dimakis,P.BrightenGodfrey,
MartinJ.WainwrightandKannanRamchandran
翻译:dullgull
摘要
摘要—P2P分布式存储系统通过冗余方法将数据分布到Internet上各个节点上保证可靠性。其中的一个关键就是减少保证这种冗余的维持带宽。使用纠错码将文件分为多个分片保存在不同节点上,较副本策略保证同样的可靠性下需要更少的冗余数据和更小的维持带宽。然而,既然分片必须周期性地在节点失效后重建,一个关键问题就是如何以分布式的方式生成一个新的分片,同时保证通过网络传输的数据尽可能的少。
在这篇文章中,我们引入一个一般性的技术来分析融合任何形式编码和副本的存储架构,同时提出两个使用纠错码维持冗余的新方案。首先,我们将展示如何从现有的系统中以最优的方式生成MDS分片。其次,我们引入一个新的称为再生码的方案,它仅比MDS具有稍大一些的分片,却比MDS具有更低的整体带宽使用。我们通过在真实环境中的仿真发现,再生码和之前最优设计—副本和纠删码混合策略,能够减少25%甚至更多的维持带宽,同时也简化了系统设计。1引言
Oceanstore,TotalRecall和DHash++这类分布式存储系统目的就是使用一群分布式的磁盘(即是Internet上不同节点)集合上长期、可靠地保存数据。保证可靠性需要引入冗余,最简单的方法就是直接使用副本。
有一些设计则是使用了纠错码。最大距离可分码(MDS)将Mbytes大小文件分为n个分片保存,每个分片M/kbytes大小,其中任意k个分片可以重建出原始文件。
然而,一个问题随之而来:在分布式存储系统中,当节点失效或者磁盘故障,冗余必须不断地被刷新,这样就会导致大量数据在网络上传输。我们如何高效地重建新的分片来应对这种失效呢?一个新的分片副本应该直接从其他保存该分片的节点复制过来,但是传统的纠错码需要通过原始数据来产生一个新的编码分片。我们如何只访问纠错码分片来生成一个纠错码分片?
在初始策略中,保存新的分片的节点—我们将称其为新手—下载k个分片并重建文件,并从原始文件中生成新的编码分片。因此,传输了Mbytes的数据却只产生了M/k大小的分片。为了减少带宽的使用,人们必须使用称为混合策略的方法:既维持着一个副本,还存在着多个纠错编码的数据分片。保存着副本的节点可以产生新的分片并发送给新手,因此为每个新的分
Simple Regenerating Codes: Network Coding for Cloud Storage Dimitris S. Papailiopoulos, Jianqiang Luo, Alexandros G. Dimakis, Cheng Huang, and Jin Li ...
Simple Regenerating Codes, Network Coding for Cloud Storage_工学_高等教育_教育专区。Presentation主要分享实验室的seminar,这篇paper选自INFOCOM 2012,作者来自USC,...
Simple Regenerating Codes, Network Coding for Cloud Storage_工学_高等教育_教育专区。Presentation主要分享实验室的seminar,这篇paper选自INFOCOM 2012,作者来自USC,...
热门文档