文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 工程科技 > 信息与通信 > 分布式文件系统存储介质评测与分析
侵权投诉

分布式文件系统存储介质评测与分析

第33卷 第10期2010年10月

计 算 机 学 报

Vol.33No.10

Oct.2010

分布式文件系统存储介质评测与分析

许春聪 黄小猛 吴 诺 孙宁伟 杨广文

(清华大学计算机科学与技术系信息科学与技术国家实验室 北京 100084)

摘 要 文中分析了磁盘、SSD和DRAM的价格和能耗,测试了分布式文件系统HDFS、MooseFS和CarrierFS部署在不同存储介质上的数据吞吐率,接着提出了一种存储介质的性价比理论模型,并分析了当前、2015年和2020年不同存储介质的性价比和变化趋势.通过性价比分析可得,DRAM具有较大的性价比优势,适合于高并发随机访问应用.随着DRAM容量的快速提升,未来DRAM有可能成为可选的数据存储介质.当前,SSD虽然具有较好的访问性能,但其价格高、容量小、性价比低于磁盘.2015年SSD的性价比将超过磁盘,有可能替代磁盘成为大规模存储系统的基本存储设备.

关键词 分布式文件系统;吞吐率;存储介质

中图法分类号TP301 DOI号:10.3724/SP.J.1016.2010.01873

PerformanceTestingandAnalysistoStorageMediumofDistributedFileSystem

XUChun Cong HUANGXiao Meng WUNuo SUNNing Wei YANGGuang Wen

(TsinghuaNationalLaboratoryforInformationScienceandTechnology,DepartmentofComputerScienceandTechnology,

TsinghuaUniversity,Beijing 100084)

Abstract Thispaperinvestigatesthepriceandpowerconsumptionofthedisks,SSD,andDRAM,andalsotestedthereadandwritethroughputsofHDFS,MooseFS,andCarrierFSbasedonthesestoragemediums.Then,itproposesanestimationmodelofperformance priceratioforthesestoragemediumsandalsopredictedandthechangetrendsoftheirperformance priceratioin2015and2020.Fromtheanalysisresults,wecanseethatDRAMhastheadvantageofhighperformance priceratioandaresuitableforhighlyparallelrandomaccessapplications.Asitsca pacitygrows,itwillbecomeanoptionaldeviceforstoragesystemsinthenearfuture.AlthoughSSDcanprovidebetteraccessperformancethanharddisks,ithaslowerperformance priceratioduetoitshigherpriceandsmallercapacity.However,theauthorspredictthatin2015,itsper formance priceratiowillbecomehigherthanharddisksandthusmaysubstituteforharddiskstobecomethemajordeviceforlarge scalestoragesystems.Keywords distributedfilesystem;throughput;storagemedium

的核心基础平台,分布式文件系统的重要性日益凸显.目前,具有代表性的分布式文件系统有Google的GFS(GoogleFileSystem)[1]以及开源的Lustre、

随着云存储应用范围的不断扩展,作为云存储

HDFS、MooseFS和清华大学研发的CarrierFS等.

1 引 言

收稿日期:2010 08 22.本课题得到国家自然科学基金(60803121,60773145,90812001,60963005)、国家 八六三 高技术研究发展计划项目基金(2010AA012401)资助.许春聪,男,1980年生,博士研究生,主要研究方向为云计算、分布式文件系统.E mail:xcc07@mails.tsin ghua.edu.cn.黄小猛,男,1980年生,博士,助理研究员,研究方向为数据网格、云计算和分布式文件系统.吴 诺,男,1983年生,博士研究生,研究方向为分布式数据存储系统.孙宁伟,男,1987年生,本科,研究方向为分布式文件系统.杨广文,男,1963年生,博士,教授,博

,.

第1页

你可能喜欢

  • 分布式文件存储
  • 微机原理课程设计电子钟
  • 淘宝平台
  • 淘宝技术
  • 精美PPT素材
  • 源码分析
  • 分布式存储架构

热门文档

相关文档

  • 分布式文件系统存储介质评测与分析

    研究仅对单存储器进行评测和分析.本 文利用不同的存储介质构建分布式存储系统,充分 考虑存储介质价格和能耗等因素,测试了不同存储 介质上分布式文件系统的性能,并对...

  • 分布式文件系统存储介质评测与分析

    的存储介质构建分布式存储系统 , 充分 考虑存储介质价格和能耗等因素, 测试了不同存储 介质上分布式文件系 统的性能 , 并对磁盘、 SSD 和 DRAM 进行了评测分析....

  • 【论文】分布式文件系统存储介质评测与分析

    分布式文件系统存储介质评测与分析_专业资料。文中分析了磁盘、SSD和DRAM的价格和能耗,测试了分布式文件系统HDFS、MooseFS和CarrierFS部署在不同存储介质上的数据吞吐...

  • 分布式文件系统HadoopHDFS与传统文件系统LinuxFS的比较...

    分布式文件系统HadoopHDFS与传统文件系统LinuxFS的比较与分析_互联网_IT/计算机_...HDFS 和 L inux F S , N 的区别就在于, HDFS物理存储介质是一组 D ...

  • 分析分布式文件系统

    分析分布式文件系统_互联网_IT/计算机_专业资料。HDFSlogo 系统结构 分析分布式...而 数据总线带宽,磁盘速度的增长无法满足应用对于 数据带宽的需求,存储子系统成为...

  • 【论文】分布式文件系统HDFS的分析

    分布式文件系统HDFS的分析_专业资料。越来越多的开源社区和大型公司都对分布式文件系统HDFS进行支持和改进.使HDFS在大规模数据存储领域的研究价值突显。文章从HDFS的...

  • 曙光星云分布式文件系统-海量小文件存取

    系统必须不仅能够支持高效的存储、访问、处理和分析...高带宽应用的支持. 传统分布式文件系统对于小文件访问...据性能进行了评测,对比了开启dirindex选项的exb文件系...

  • 基于Hadoop分布式文件系统的分析与研究

    国际贸易公司,北京100027) 摘要:通过对HDFS(Hadoop的一个分布式文件系统)以及Map/Reduce数据驱编程模型和HB舔e分布式的、列存储数据库和Hive分布式数据仓库的分析。...

  • 分布式文件系统Hadoop HDFS与传统文件系统Linux FS的比...

    分布式文件系统Hadoop HDFS与传统文件系统Linux FS的比较与分析_IT/计算机_专业...HDFS和LinuxFS 的区别就在于,HDFS物理存储介质是一组DataNode,而不是某台确定...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email