软件天地
文章编号:1008-0570(2010)05-1-0202-03
《微计算机信息》(测控自动化)2010年第26卷第5-1期
基于Hadoop的海量数据管理系统
AMassDataManagementSystembasedontheHadoop
(北京航空航天大学)
多雪松张晶高强
DUOXue-songZHANGJingGAOQiang
摘要:飞机系统日趋复杂化,使得需要处理的飞行数据规模越来越大,对数据读取速度的要求越来越高。本文设计了一个海
量数据管理系统,该系统基于Hadoop分布式平台,采用的Linux集群技术使存储容量易于扩充,分布式计算框架可以达到高速处理数据的要求。本系统具有数据规模易扩展、处理速度快、安全性高、容易实现等特点,能够较好地满足飞行数据存储管理的要求。
关键词:海量数据;分布式平台;集群系统;分布式计算中图分类号:TP311文献标识码:A
技术创新
Abstract:Theflightdatahasincreasedtremendouslyandhighaccessratetothedataisneededasaircraftsystemsgetcomplex.Inthispaper,wedesignadistributedmassdatamanagementsystembasedontheHadoopplatform,whichuseLinuxcluster.Inthissystemthestorageisscalableandhigh-speeddataprocessingcanbeachievedthroughdistributedcomputingframework.Thede-signedsystemisscalable,fast,secureandsimple,whichcanmeettherequirementsofflightdatastorage.Keywords:MassData;DistributedPlatform;ClusterSystem;DistributedComputing
1引言
随着计算机技术的快速发展,特别是网络的普及,金融、电信、交通等众多行业对信息化的要求越来越高,需要处理的数据量也不断增大。与此同时,人们对高性能联机事务处理能力和复杂查询操作能力的需求也在不断提高。因此,如何存储管理海量
本文对海量飞行数据的存储管理进数据成为当今的研究热点。
行研究。海量数据管理系统,是飞机故障诊断与维护支持系统的一个子系统,其中包含飞机数据库、故障模式库、专家知识库等多个数据库,能够为其它诊断子系统提供海量飞行数据的存储与读取服务。这些飞行数据具有海量、复杂、关联、异构等特性,对存储资源、计算资源、网络资源等都提出了较高的性能要求。如何对这些海量数据进行有效管理,实现高效访问是本文研究的问题。
处理海量数据,必然要面对巨大的计算量,一般的解决方法是采用分布式计算,将计算任务分配到多台机器上并行处理,以
但传统的分布式计算在实际操作中,还存在诸此提高运算速度。
多问题,例如如何有效地分割输入的数据和合理分配计算任务等。因此,如果有一种通用的分布式计算模型,由底层封装任务分配、并行处理、容错支持等细节,而由用户集中精力解决分布式计算的任务表达,就能极大地简化分布式程序的设计。由Google实验室提出的Map/Reduce正是这样一种模型。同时,开源的Hadoop为该模型提供了Java实现,从而为分布式计算提供了平台。
本文基于Hadoop分布式平台设计了一个海量飞行数据管理系统,采用的Linux集群技术使存储容量易于扩充,分布式计算框架可以高速地处理数据,能够较好地满足飞行数据存储管理的要求。文章第2节设计了基于Hadoop的海量数据管理系统的体系结构。第3节着重介绍了系统分布式存储与分布式计
多雪松:硕士研究生
--年邮局订阅号算的实现。第4节对系统的性能特点进行了说明。最后,在第5节给出了结论。
2海量数据管理系统体系结构
根据项目的需要,结合海量数据的大数据量、分布性、异构性等主要特点,我们设计基于Hadoop分布式平台的海量数据管
系统架构如图理系统,采用中间件服务器完成软件的控制部分。
1所示。
图1海量数据管理系统架构
中间件服务器是整个系统的核心部分,也是设计开发的重点,它采用分布式数据库技术、并行事务处理技术等,提供了对海量数据的并行加载存储、并行查询分发等核心功能。从功能组成上,可以分为应用接口层、数据库访问层和数据处理层三个层次,如图2所示。
图2中间件服务器功能组成
现场总线技术应用200例》
本文在 分析了海量图像数据的产生与应用的具体背景之后,根据Had00p系统在存储和 管理网页数据与同志数据等的成功,研究了基于Hadoop系统的大规模海量图像 数据管理问题...
该系统安全可靠 、 易维护 、 具有良好的可扩展性 . 海洋科学数据 ; 分布式计算 关键词 海量数据存储 ;Hadoop;中图法分类号 TP311.13 北部湾经 济区发展...
本文在研究开源框架 Hadoop 的基础上,开发实现 了基于 Hadoop 的海量农业资源管理平台。 图1 系统结构与功能模块 2.1 资源元数据管理 资源元数据管理实现基于 ...
基于Hadoop的校园教育资源管理系统_互联网_IT/计算机_专业资料。ISSN 1009-3044 E—mail:xsjl@dnzs.net.cn http://www.dnzISSN 1009-3044 E—mail:xsjl@dnzs...
Hadoop 平台的性能优化研究[J].计算机工程, 2010,(14) . [2] 多雪松,张晶,高强. 基于 Hadoop 的海量数据管理系统[J].微计算机信息, 2010,(13) . [3] ...
hadoop学习视频教程07 - YARN资源管理系统(1)_管理学_高等教育_教育专区。北风网hadoop学习视频教程《基于Hadoop2.0、YARN技术的大数据高阶应用实战(Hadoop2.0\...
hadoop学习视频教程08 - YARN资源管理系统(2)_管理学_高等教育_教育专区。北风网hadoop学习视频教程《基于Hadoop2.0、YARN技术的大数据高阶应用实战(Hadoop2.0\...
基于表结构的海量数据管理系统技术综述_专业资料。研究综述计算机与现代化 2010...—Broker的抽象接口来访问不同的分布式文件系统, 如:HDFS一1(Hadoop 和本地...
能够对数据集进行管理 是数据管理系统很重要的特性之一,这一点 HDFS 是不具备...有人把 Hadoop 归类为海量数据处理技术, 但是 Hadoop 真正的价值却是对多样化 ...
尤其是近年来提出的 Hadoop分布式文件系统和MapReduce编程框架,对于某些特定的大规模数据,有 很好的处理能力。 正是基于海量遥感影像数据面临的管理挑战下,本文研究和...
热门文档