基于对象存储文件系统的协作式缓存一致性策略

２０１２年１１月第３３卷　第１１期

计算机工程与设计

ＣＯＭＰＵＴＥＲＥＮＧＩＮＥＥＲＩＮＧ　ＡＮＤＤＥＳＩＧＮ　　

Ｎｏｖｅ．２０１２

Ｖｏｌ．３３　Ｎｏ．１１



基于对象存储文件系统的协作式缓存一致性策略

蒋　溢，姜军君＋，熊安萍

（）重庆邮电大学计算机科学与技术学院，重庆４０００６５

摘　要：基于对象存储文件系统引入了客户端缓存机制以加快文件访问速度，由此也带来了缓存数据一致性问题。针对多客户端访问共享文件时缓存更新策略存在的延时、网络和服务器负载过大及网络消耗大等问题，基于Ｌｕｓｔｒｅ对象存储文件系统实现了一种改进的协作式缓存一致性策略。实验结果表明，改进后的缓存更新策略，不仅可以保证缓存数据的一致／性，而且减少了客户端与服务器交互次数，降低了访问延迟，提高了系统ＩＯ性能。关键词：对象存储；缓存；一致性；协作；更新

）１中图法分类号：ＴＰ３１６．４　文献标识号：Ａ　文章编号：１０００７０２４（２０１２１４２０４０５－－－

Ｃｏｌｌａｂｏｒａｔｉｖｅｃａｃｈｅｃｏｎｓｉｓｔｅｎｃｓｔｒａｔｅｂａｓｅｄｏｎ　　　ｙｇｙ　　

ｏｂｅｃｔｂａｓｅｄｓｔｏｒａｅｆｉｌｅｓｓｔｅｍ－　　　ｊｇｙ

＋

，，ｕｎｉｎＪＩＡＮＧＹｉＪＩＡＮＧＪｕｎＸＩＯＮＧ　Ａｎ　　－－ｐｊｇ

（，ＣｏｌｌｅｅｏｆＣｏｍｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏＣｈｏｎｉｎＵｎｉｖｅｒｓｉｔｏｆＰｏｓｔｓａｎｄ　　　　　　　ｇｐｇｙｇｑｇｙ　　

，）ＣｏｍｍｕｎｉｃａｔｉｏｎｓＣｈｏｎｉｎ４０００６５，Ｃｈｉｎａｇｑｇ　

：Ｔ，Ａｂｓｔｒａｃｔｏｓｅｅｄｕｆｉｌｅａｃｃｅｓｓｓｅｅｄｏｂｅｃｔｂａｓｅｄｓｔｏｒａｅｆｉｌｅｓｓｔｅｍｉｎｔｒｏｄｕｃｅｓｔｈｅｃｌｉｅｎｔｃａｃｈｉｎｍｅｃｈａｎｉｓｍ，ｗｈｉｃｈａｌｓｏ　　　　－　　　　　　　　ｐｐｐｊｇｙｇ　　，，ｂｒｏｕｈｔｔｈｅｒｏｂｌｅｍｏｆｔｈｅｃａｃｈｅｄｄａｔａｃｏｎｓｉｓｔｅｎｃ．Ｗｈｅｎｍｕｌｔｉｃｌｉｅｎｔｓｔｒｔｏａｃｃｅｓｓｔｏｓｈａｒｅｄｆｉｌｅｓｉｖｅｎｔｈｅｄｅｌａｈｅａｖｌｏａｄ　　　　　　　　－　　　　　　　ｇｐｙｙｇｙｙ　　，，ｏｆｎｅｔｗｏｒｋａｎｄｓｅｒｖｅｒｔｏｏｍｕｃｈｎｅｔｗｏｒｋｃｏｎｓｕｍｔｉｏｎａｎｄｏｔｈｅｒｉｓｓｕｅｓｏｆｃａｃｈｅｕｄａｔｅｓｔｒａｔｅｏｂｅｃｔｂａｓｅｄｓｔｏｒａｅＬｕｓｔｒｅｆｉｌｅ　　　　　　　　　　　　　－　　　ｐｐｇｙｊｇａｃｈｉｅｖｅｄａｎｉｍｒｏｖｅｄｃｏｌｌａｂｏｒａｔｉｖｅｃａｃｈｅｃｏｈｅｒｅｎｃｓｔｒａｔｅ．Ｔｈｅｅｘｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｉｍｒｏｖｅｄｃａｃｈｅｕｄａｔｅｓｓｔｅｍ　　　　　　　　　　　　　ｐｙｇｙｐｐｐｙ　，ｓｔｒａｔｅｕａｒａｎｔｅｅｎｏｔｏｎｌｃａｎｔｈｅｃｏｎｓｉｓｔｅｎｃｏｆｃａｃｈｅｄｄａｔａｂｕｔａｌｓｏｒｅｄｕｃｅｉｎｔｅｒａｃｔｉｏｎｓｂｅｔｗｅｅｎｃｌｉｅｎｔａｎｄｓｅｒｖｅｒａｎｄｔｈｅａｃ　　　　　　　　　　　　　　　　－ｇｙｇｙｙ　　　／ｃｅｓｓｌａｔｅｎｃａｎｄｔｈｅｓｓｔｅｍＩＯｉｓｉｍｒｏｖｅｄ．ｅｒｆｏｒｍａｎｃｅ　　　　　　　ｙｙｐｐ　

：；；；；Ｋｅｗｏｒｄｓｏｂｅｃｔｂａｓｅｄｓｔｏｒａｅｃａｃｈｅｃｏｎｓｉｓｔｅｎｃｃｏｌｌａｂｏｒａｔｉｖｅｕｄａｔｅ－　ｊｇｙｐｙ　

０　引　言

当前高性能计算由传统的主机方式逐步向网络化集群演变，传统的基于主机的存储架构已经成为新的瓶颈，网

］１２－。针对集群对存储系统高性能络化存储已成为研究热点［

性，并保证文件系统的性能，具有一定的现实意义。

１　Ｌｕｓｔｒｅ客户端缓存机制

１．１　Ｌｕｓｔｒｅ客户端缓存机制概述

作为首个开源的基于对象存储设备的分布式并行文件系统，Ｌｕｓｔｒｅ已经被广泛的应用到商业与科学研究的各个领域。它采用高度模块化的结构设计，使用客户端（）通过与元数据服务器（，ＭＤＣｌｉｅｎｔＭｅｔａＤａｔａｓｅｒｖｅｒＳ）　，Ｏ以及对象存储目标器（ｏｂｅｃｔｓｔｏｒａｅｔａｒｅｔＳＴ）结合在　　ｊｇｇ一起运行，客户端向用户提供一个目录树结构，同ＯＳＴ进行文件数据的交互，同ＭＤＳ进行元数据的交互。ＯＳＴ主要负责实际数据的存储，处理所有客户端和物理存储之间

［］

的交互。ＭＤＳ则主要负责提供元数据和负载均衡服务４。

——基于对象存储及文件共享等需求，一种新的存储架构—

的文件系统被广泛研究及应用，它以对象作为数据存储管

３］

，采用缓存技术来提高文件系统的性能，理的基本单位［

利用程序访问局部性原理，将最近访问的文件数据保存在客户端缓存中，下次访问相同的文件数据时则不需要再次与文件服务器建立连接访问低速的磁盘，直接从缓存中得／到，从而获得较高的ＩＯ性能。然而缓存机制的引入使得数据一致性问题更加突出，如何解决缓存与主本数据一致

；修订日期：２收稿日期：２０１２０２２３０１２０５２０－－－－

，男，重庆人，硕士，副教授，Ｃ，男，河南作者简介：蒋溢（１９６９ＣＦ会员，研究方向为软件体系结构；＋通讯作者：姜军君（１９８６－）－），女，四川泸州人，副教授，研究方向为操作系统与高性能计算。焦作人，硕士，研究方向为高性能计算；熊安萍（１９７０－）：Ｅ－ｍａｉｌｃｅｎｅｒａｌｉ．．ｃｏｍ＠ｖｑｇｐｑｑ