第33卷 第10期2010年10月
计 算 机 学 报
Vol.33No.10
Oct.2010
分布式文件系统存储介质评测与分析
许春聪 黄小猛 吴 诺 孙宁伟 杨广文
(清华大学计算机科学与技术系信息科学与技术国家实验室 北京 100084)
摘 要 文中分析了磁盘、SSD和DRAM的价格和能耗,测试了分布式文件系统HDFS、MooseFS和CarrierFS部署在不同存储介质上的数据吞吐率,接着提出了一种存储介质的性价比理论模型,并分析了当前、2015年和2020年不同存储介质的性价比和变化趋势.通过性价比分析可得,DRAM具有较大的性价比优势,适合于高并发随机访问应用.随着DRAM容量的快速提升,未来DRAM有可能成为可选的数据存储介质.当前,SSD虽然具有较好的访问性能,但其价格高、容量小、性价比低于磁盘.2015年SSD的性价比将超过磁盘,有可能替代磁盘成为大规模存储系统的基本存储设备.
关键词 分布式文件系统;吞吐率;存储介质
中图法分类号TP301 DOI号:10.3724/SP.J.1016.2010.01873
PerformanceTestingandAnalysistoStorageMediumofDistributedFileSystem
XUChun Cong HUANGXiao Meng WUNuo SUNNing Wei YANGGuang Wen
(TsinghuaNationalLaboratoryforInformationScienceandTechnology,DepartmentofComputerScienceandTechnology,
TsinghuaUniversity,Beijing 100084)
Abstract Thispaperinvestigatesthepriceandpowerconsumptionofthedisks,SSD,andDRAM,andalsotestedthereadandwritethroughputsofHDFS,MooseFS,andCarrierFSbasedonthesestoragemediums.Then,itproposesanestimationmodelofperformance priceratioforthesestoragemediumsandalsopredictedandthechangetrendsoftheirperformance priceratioin2015and2020.Fromtheanalysisresults,wecanseethatDRAMhastheadvantageofhighperformance priceratioandaresuitableforhighlyparallelrandomaccessapplications.Asitsca pacitygrows,itwillbecomeanoptionaldeviceforstoragesystemsinthenearfuture.AlthoughSSDcanprovidebetteraccessperformancethanharddisks,ithaslowerperformance priceratioduetoitshigherpriceandsmallercapacity.However,theauthorspredictthatin2015,itsper formance priceratiowillbecomehigherthanharddisksandthusmaysubstituteforharddiskstobecomethemajordeviceforlarge scalestoragesystems.Keywords distributedfilesystem;throughput;storagemedium
的核心基础平台,分布式文件系统的重要性日益凸显.目前,具有代表性的分布式文件系统有Google的GFS(GoogleFileSystem)[1]以及开源的Lustre、
随着云存储应用范围的不断扩展,作为云存储
HDFS、MooseFS和清华大学研发的CarrierFS等.
1 引 言
收稿日期:2010 08 22.本课题得到国家自然科学基金(60803121,60773145,90812001,60963005)、国家 八六三 高技术研究发展计划项目基金(2010AA012401)资助.许春聪,男,1980年生,博士研究生,主要研究方向为云计算、分布式文件系统.E mail:xcc07@mails.tsin ghua.edu.cn.黄小猛,男,1980年生,博士,助理研究员,研究方向为数据网格、云计算和分布式文件系统.吴 诺,男,1983年生,博士研究生,研究方向为分布式数据存储系统.孙宁伟,男,1987年生,本科,研究方向为分布式文件系统.杨广文,男,1963年生,博士,教授,博
,.
研究仅对单存储器进行评测和分析.本 文利用不同的存储介质构建分布式存储系统,充分 考虑存储介质价格和能耗等因素,测试了不同存储 介质上分布式文件系统的性能,并对...
的存储介质构建分布式存储系统 , 充分 考虑存储介质价格和能耗等因素, 测试了不同存储 介质上分布式文件系 统的性能 , 并对磁盘、 SSD 和 DRAM 进行了评测分析....
分布式文件系统存储介质评测与分析_专业资料。文中分析了磁盘、SSD和DRAM的价格和能耗,测试了分布式文件系统HDFS、MooseFS和CarrierFS部署在不同存储介质上的数据吞吐...
分布式文件系统HadoopHDFS与传统文件系统LinuxFS的比较与分析_互联网_IT/计算机_...HDFS 和 L inux F S , N 的区别就在于, HDFS物理存储介质是一组 D ...
分析分布式文件系统_互联网_IT/计算机_专业资料。HDFSlogo 系统结构 分析分布式...而 数据总线带宽,磁盘速度的增长无法满足应用对于 数据带宽的需求,存储子系统成为...
分布式文件系统HDFS的分析_专业资料。越来越多的开源社区和大型公司都对分布式文件系统HDFS进行支持和改进.使HDFS在大规模数据存储领域的研究价值突显。文章从HDFS的...
系统必须不仅能够支持高效的存储、访问、处理和分析...高带宽应用的支持. 传统分布式文件系统对于小文件访问...据性能进行了评测,对比了开启dirindex选项的exb文件系...
国际贸易公司,北京100027) 摘要:通过对HDFS(Hadoop的一个分布式文件系统)以及Map/Reduce数据驱编程模型和HB舔e分布式的、列存储数据库和Hive分布式数据仓库的分析。...
分布式文件系统Hadoop HDFS与传统文件系统Linux FS的比较与分析_IT/计算机_专业...HDFS和LinuxFS 的区别就在于,HDFS物理存储介质是一组DataNode,而不是某台确定...
热门文档