文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 互联网 > 基于Hadoop的海量数据存储平台设计与开发
侵权投诉

基于Hadoop的海量数据存储平台设计与开发

Hadoop相关论文,值得参考学习

计算机研究与发展

JournalofComputerResearchandDevelopment

ISSN

1000—1239/CN11—1777/TP

49(Suppl.):12—18,2012

基于Hadoop的海量数据存储平台设计与开发

崔

杰1

李陶深1

兰红星2

南宁

530004)

530022)

1(广西大学计算机与电子信息学院

2(广西工业和信息化委员会南宁(cuijietianlong@163.corn)

DesignandDevelopmentofthe

Mass

DataStorage

PlatformBased

on

Hadoop

CuiJiel,LiTaoshenl,andLanHongxin92

1(SchoolofComputer,ElectronicsandInformation,GuangxiUniversity,Nanning530004)2(GuangxiIndustryandInformationTechnologyCommittee,Nanning530022)

Abstract

WiththedevelopmentandutilizationofBeiBuBayMarine

ecological

to

usea

resources,massmassdatastorage

marinesciencedatarapidlyemergeinlargenumbersanditisveryimportantplatform

to

manageand

store

thesesciencedatareasonable.Thispaperputsforwardthemanagement

datamethodsbased

on

andstoragethemassmarinesciencebuildsthemass

storage

thedistributedcomputingtechnology,

anddevelops

a

marinesciencedatastorageplatformsolutions,designs

on

massdata

platformbasedHadoopbyusingLinuxclustertechnology.Thissystemwhichconsistsof

module,parallelloadingstoragemodule,parallelquery

recovery

fivemodulesincludessystemmanagementmodule,data

dictionarymodule,backupand

moduleandit

can

achieve

tostore

massive

amountsofmarinesciencedata.Thesystemmoduleachievingresultshowsthatthissystemenjoysgoodsafety,reliability,easymaintenanceandgoodexpansibility.Keywords

massdatastorage;marinesciencedata;Hadoop;distributedcomputing

摘要随着北部湾海洋生态资源的开发和利用,海量海洋科学数据飞速涌现出来,利用海量数据存储平台合理管理和存储这些科学数据显得极为重要.这里提出了一种基于分布式计算技术进行管理和存.储海量海洋科学数据方法,构建了海量海洋科学数据存储平台解决方案,采用Linux集群技术,设计开发一个基于Hadoop的海量数据存储平台.系统由五大模块组成,有系统管理模块、并行加载存储模块、并行查询模块、数据字典模块、备份恢复模块,能够实现存储海量海洋科学数据.系统模块实现结果表明,该系统安全可靠、易维护、具有良好的可扩展性.

关键词海量数据存储;海洋科学数据;Hadoop;分布式计算

中图法分类号TP311.13

随着《北部湾经济区发展规划》颁布实施,以北部湾经济区海洋为研究样本的系列重大基础研究专项和重大科学研究项目正在逐一展开,届时将产生

海量的海洋科学数据,这些数据具有海量、复杂、多样、异构、动态变化等特性.而且目前各项目的海洋科学数据均缺乏统一的采集和存储的标准及规范,

收稿日期:201201—04

基金项目:国家自然科学基金项目(60963022);广西自然科学基金重点项目(桂科自0832056);广西大学拔尖创新团队建设计划项目

(L300249);广西研究生教育创新计划项目(GXUllT32550)

第1页

你可能喜欢

  • 海量数据处理
  • 淘宝平台
  • 数据平台
  • 存储架构
  • 百度数据
  • 数据仓库技术

热门文档

相关文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email