分布式文件系统
计算机研究与发展
JournalofComputerResearchandDevelopment
ISSN
1000—1239/CN11-1777/TP
49(Suppl.):276—280,2012
分布式文件系统副本一致性检测研究
田一恰萌
李小勇
刘海涛
上海
200240)
(上海交通大学信息安全J二程学院(tyro@sjtu.edu.cn)
ReplicaConsistencyDetectioninDistributedFileSystem
TianYimeng,LiXiaoyong,andLiuHaitao
(SchooloJ、InformationSecurityEngineering,ShanghaiJiaoTongUniversity,Shanghai200240)
AbstractIn
large—scale
distributedfile
systems,replicaconsistency
control
not
onlyrequires
consistencyprotocols,butalsoneedsto
on
detectandrepairinconsistenciesintime.Thispaperfocuses
discussalmostallinconsistencyproblemsinobject—
theon—linedetectionofreplicaconsistency.We
basedlarge—scaledistributedfilesystem.Thenweelaboratethreekeyissuesofon—lineconsistencydetection,thatis,how
to
decreasethedetectioninfluence
to
on
systemperformance,ensuredetection
timelinessandaccuracy.Accordingof
storestatus
thethreekeyissues,wepresentrelevantsolutions.Simulation
to
reducesthedetectionload
thesystem;Pre—detectionenablesthesystem
can
to
detect
the
inconsistenciestimely;Detectionofaccuracyofdetection.Keywordsdetection
staticdata
effectivelyavoidfalsedetectionand
ensure
distributedfilesystem;objectstorage;replicaconsistency;consistencyprotocols;on—line
摘要在大规模分布式文件系统中,副本一致性的实现既需要一致性协议模型的保障,也需要系统能够及时检测出已产生的不一致并予以修复.这里主要研究副本一致性的在线检测技术,全面分析了基于对象存储的大规模分布式文件系统中副本不一致的所有可能情况,深入阐述了在线一致性检测所面I垮的3个关键问题,即如何减小检测过程对系统性能的影响、保证检测的及时性、以及保证检测的准确性.针对这3个关键问题,总结提出了相应的解决方法.其中,模拟存储状态的方法,减轻了检测过程给系统带来的负荷;预检测的方法,增强了检测出系统不一致错误的及时性;检测静态数据的方法,有效避免了误检和漏检,保证了在线检测的准确性.
关键词分布式文件系统;对象存储;副本一致性;一致性协议;在线检测
中图法分类号TP316.4
分布式文件系统中广泛采用数据复制技术来提高系统的可靠性及其性能.通过存放多个副本来保证数据的安全可靠,当一个副本被破坏后,只需使用另一个副本便可以正常地访问数据.此外,当系统规
模较大时,采用复制技术在不同节点上存储同一文件的副本有助于实现系统的负载均衡,从而提高了整体性能.然而,复制技术为系统提供快速响应能力和错误恢复能力的同时,也引入了副本管理和一致
收稿日期:2012
01。04
基金项目:上海市科学技术委员会重大基金项目(10DZl500200)
万方数据
计算机研究与发展 JournalofComputerResearchandDevelopment ISSN 1000—1239/CN11-1777/TP 49(Suppl.):276—280,2012 分布式文件系统副本一致性检测研究田一恰萌 ...
“弱”,实际很强,对多副本一致 性有很强的要求,...第五章 分布式系统中的数据一致性问题 [例2] P1...所有程序以相同顺序检测所有 顺序: 共享访问事件 ...
? 例如:分布式bbs系统的回帖问题 四、分发协议 1、副本类型 ? 一致性模型只从理论上解决一致性问题 ? 从实现的角度 ? 研究数据更新发送给各个副本的方法,即...
度Cce一致 性协议的形式化证 ah 1引 言 明,协议是为cd该o a文件系统所设计的. 们在为 我 曙光 超级服务器实现其分布式文件 系统 时,计了 设 Bro,aiNeda...
对元数据操作的一致性要求较高;3)数据共 享与数据...元1 相关研究当前的分布式文件系统提出了集群系统上...副本、单点失效的避免与恢复、故障检测及处理等. ...
研究室 四川 成都 610054) 【摘 要】 本文讨论了分布式文件系统在 Linux 下...3. 2. 1 副本信息的存放及一致性问题 显然 ,每个节点都要经常地访问副本信息...
第九章 分布式文件系统 9.1 分布式文件系统的特点和...即命中率愈高,但传送数据的时间和一致 性问题也...更新策略、缓存有效性检验和一致性 立即写:最简单的...
服务的进程 2013-7-29 3 1.2 分布式文件系统设计...不变文件消除了所有一致性因素,所以简化了缓存和复制...如果一个新进程打开文件,则客户在使用缓存之前检查...
具体阐述了系统模 型以及设计方案,并作了系统测试。...但是分布式文件系统仍是一种新生的技术和系统。它正...当系统正 常执行时,为保证副本一致性的代价不能...
分布式数据库系统是数据库领域中的一个主要研究方向, 数据一致性维护是分布式...用这种方法复制的数据副本的一 致性通过一个异步拷贝系统来保证.这种异步拷贝 ...
热门文档