Hadoop相关论文,值得参考学习
计算机研究与发展
JournalofComputerResearchandDevelopment
ISSN
1000—1239/CN11—1777/TP
49(Suppl.):12—18,2012
基于Hadoop的海量数据存储平台设计与开发
崔
杰1
李陶深1
兰红星2
南宁
530004)
530022)
1(广西大学计算机与电子信息学院
2(广西工业和信息化委员会南宁(cuijietianlong@163.corn)
DesignandDevelopmentofthe
Mass
DataStorage
PlatformBased
on
Hadoop
CuiJiel,LiTaoshenl,andLanHongxin92
1(SchoolofComputer,ElectronicsandInformation,GuangxiUniversity,Nanning530004)2(GuangxiIndustryandInformationTechnologyCommittee,Nanning530022)
Abstract
WiththedevelopmentandutilizationofBeiBuBayMarine
ecological
to
usea
resources,massmassdatastorage
marinesciencedatarapidlyemergeinlargenumbersanditisveryimportantplatform
to
manageand
store
thesesciencedatareasonable.Thispaperputsforwardthemanagement
datamethodsbased
on
andstoragethemassmarinesciencebuildsthemass
storage
thedistributedcomputingtechnology,
anddevelops
a
marinesciencedatastorageplatformsolutions,designs
on
massdata
platformbasedHadoopbyusingLinuxclustertechnology.Thissystemwhichconsistsof
module,parallelloadingstoragemodule,parallelquery
recovery
fivemodulesincludessystemmanagementmodule,data
dictionarymodule,backupand
moduleandit
can
achieve
tostore
massive
amountsofmarinesciencedata.Thesystemmoduleachievingresultshowsthatthissystemenjoysgoodsafety,reliability,easymaintenanceandgoodexpansibility.Keywords
massdatastorage;marinesciencedata;Hadoop;distributedcomputing
摘要随着北部湾海洋生态资源的开发和利用,海量海洋科学数据飞速涌现出来,利用海量数据存储平台合理管理和存储这些科学数据显得极为重要.这里提出了一种基于分布式计算技术进行管理和存.储海量海洋科学数据方法,构建了海量海洋科学数据存储平台解决方案,采用Linux集群技术,设计开发一个基于Hadoop的海量数据存储平台.系统由五大模块组成,有系统管理模块、并行加载存储模块、并行查询模块、数据字典模块、备份恢复模块,能够实现存储海量海洋科学数据.系统模块实现结果表明,该系统安全可靠、易维护、具有良好的可扩展性.
关键词海量数据存储;海洋科学数据;Hadoop;分布式计算
中图法分类号TP311.13
随着《北部湾经济区发展规划》颁布实施,以北部湾经济区海洋为研究样本的系列重大基础研究专项和重大科学研究项目正在逐一展开,届时将产生
海量的海洋科学数据,这些数据具有海量、复杂、多样、异构、动态变化等特性.而且目前各项目的海洋科学数据均缺乏统一的采集和存储的标准及规范,
收稿日期:201201—04
基金项目:国家自然科学基金项目(60963022);广西自然科学基金重点项目(桂科自0832056);广西大学拔尖创新团队建设计划项目
(L300249);广西研究生教育创新计划项目(GXUllT32550)
基于Hadoop的海量数据存储平台设计与开发_崔杰_信息与通信_工程科技_专业资料。Hadoop 海量数据计算机研究与发展 JunlfCmue eerhadDvlpetora optrRsac n eeomn o IS ...
- ? ():,49Sul.1282012-1pp 基于 Hadoop 的海量数据存储平台设计与开发崔 杰1 李陶深1 兰红星212 () 广西大学计算机与电子信息学院 南宁 530004() 广西工业...
基于Hadoop的海量数据处理系统的设计与实现_计算机软件及应用_IT/计算机_专业...本文的主要目的是构建一个成本较低 的分布式海量数据处理系统来存储和处理这些...
本文在研究云计算和 Hadoop 的基础上,设计并 部分实现了基于 Hadoop 的海量电信数据云计算平台。 用移动业务过程中产生的各类数据以 TB 级速度增长。 面 对激烈...
组织存储与检索技术,提出基于 Hadoop 的大文件分块存储方法和海量农业数据资源...元数据 2 海量农业知识资源管理平台的设计目标是实现海量、分布、异构农业知识...
此外,通过设计负载均衡和缓存系统, 实现各存储节点的存储优化和存储系统的稳定。 然后,论文基于Hadoop的分布式列数据库Hbase,对图片元数据存储。通 过图片文件名设计...
本文提出了一种基于分布式计算技术进行管理和存储海量海洋科学数据方法,构建了海量海洋科学数据存储平台解决方案,采用Linux集群技术,设计开发一个基于Hadoop的云计算平台...
基于 Hadoop 的云计算平台设计与开发 摘要:随着北部湾海洋生态资源的开发和利用,海量海洋科学 数据飞速涌现出来,利用云计算平台合理管理和存储这些科学数据 显得极为...
基于Hadoop的海量数据处理平台研究_丁辉_互联网_IT/计算机_专业资料。2011 ...对电网信息采集的 需求方面 ,要求实现电网规划 、设计 、建设 、生产 、运营 ...
北京邮电大学 硕士学位论文 基于Hadoop的海量数据处理模型研究和应用 姓名:朱珠 ...其中RobertCooley等人在Web日志数据预处理中设计实现了WebMiner 系统【11,将Web...
热门文档