基于unicore的分布式气象网格计算平台的构建
应用系统建设”是国家气象网络计算应用系统建设项目专题之一。该专题利用网格计算技术和国家气象网络计算应用系统建设项目前期研究成果将沈阳区域气象中心高性能计算机系统纳入国家气象网络计算应用系统,以区域分节点的身份加入国家气象网格平台,提供典型气象模式应用,建设分节点的数据后处理和分发平台。本文利用UNICORE技术,将神威高性能计算机作为网格分节点的计算资源,加入到国家气象网格平台。
UNICORE中的Vsite就相当于一个独立的计算资源,如一台PC、一个工作站或是一个集群,一个Usite就相当于存放了几个Vsite的机构或组织,外界用户通过这个机构的Gateway访问它的各个计算资
7]
源[。图1为包含2个Usite(SiteA和SiteB)的6]UNICORE系统的体系结构[。图1中各个组件的
简要分析如下所述。
2.1.1 UNICORE的客户端
客户端(Client)是用户访问UNICORE的唯一接口。用户可以通过这个客户端连接到UNICORE2 UNICORE的简介
UNICORE(UNiformInterfacetoCOmputingREsources)是计算资源的统一接口的简称。它是德国联邦教育和研究部资助的一个项目,主要合作者是德国的5家研究机构,
其目的是提供一套软件,允许用户向远程高性能计算机提交自己的作业。UNICORE系统为终端用户和计算中心提供了强大的运行网格的功能。对终端用户而言,可以从UNICORE中获得对计算和数据资源的无缝、统一的访问。对计算中心(或网格节点)而言,其获得了牢固的认证机制,支持需求完全集成到它们的管理或应用程序上。同时,UNICORE用户可轻易地在不同的平台间转移计算作业,这对用户和计算中心来说都是非常方便的
[6]
。UNICORE有很多优点,如:客
户端界面友好,提供了强大的帮助功能,能够进行实时的作业状态监控;UNICORE的安全模型是基于X.509证书的,用户与软件的各个部件之间通过相互验证X
.509证书确保安全性;强大的数据管理功能为每个作业组构造一个临时数据空间,完成数据集的导入和导出,提供远程文件浏览功能,在作业执行时自动地完成系统和site(包括Usite和Vsite)之间的数据传送。此外,UNICORE还具有统一的编程接口和很好的可扩展性。
2.1 UNICORE的系统结构
UNICORE是建立在3层模型基础上的客户/服务器系统,分为用户层、服务层和目标系统层。用户层由UNICORE客户端构成。服务层包括网关(
Gateway),网络作业管理者(NetworkJobSupervisor)以及相关组件。目标系统层是指目标系统接口TSI(TargetSystemInterface),是运行在目标系统上的一个后台进程。在顶层,每一个参与网格的计算中心均会定义一个或几个客户端可以连接的UNICORE网格站点(简称Usite,即Gateway)。一个Usite提供计算资源的入口,这些资源被组织成一个或几个虚拟站点(简称Vsite,即NJS和TSI),Vsite代表了计算中心的执行或存储系统。简单地说,
网关,构造作业并且监视作业的状态和运行结果。2.1.2 UNICORE网关
网关(Gateway)是用户的作业请求连接到Usite的单一入口点。Gateway提供了一个IP地址和一个外界可以访问的端口,客户端以此与Gateway建立一个SSL连接进行通信。UNICORE的客户端将会按照用户的选择,自动连接到已知的网关端口,并使用SSL作协议。Gateway负责用户的鉴定,客户端和服务器间的安全通讯,并将作业传给NJS(NetworkJobSupervisor,网络作业管理者)。Gateway验证连接的客户端所提交的证书无误后,将作业请求提交给NJS。除此之外,Gateway还要对资源信息进行有效的管理,并且与NJS进行必要的通信。
2.1.3 UNICORE网络作业管理者服务器UNICORENJS服务器(NetworkJobSupervisorServer)负责管理所有客户提交的作业。NJS由2部分组成:UUDB和IDB。UUDB(UNICOREUserDatabase)的主要作用是进行用户管理,即负责对UNICORE中提交作业的用户身份进行转化———根据用户证书将其转化为系统中具体存在的某个用户xlogin。IDB(IncarnationDatabase)的作用主要是将AJO(AbstractJobObject)形式的作业转换为TSI能处理的任务。它还定义了文件的存储目录,并描述底层系统可提供的资源,包括处理器、节点数、计算时间,核心内存大小以及磁盘空间的最小、最大和默认值等。NJS首先查看UUDB,将用户证书映射到一个有效的计算资源的登录点上,然后将作业的抽象定义AJO转化成某个给定的目标执行系统的具体的命令行序列,并将转化后的任务和作业交给目标系统接口TSI。同时,NJS还要考虑JOB组件之间的相关性,以便根据相关性正确地调度组件。NJS保存所有的客户提交的作业记录,在用户提出查询作业状态以及结果信息的请求时,响应该客户端的请求。每个NJS还需要与其他站点上的NJS通信,互通信息。
基于UNICORE的地震网格计算应用插件_专业资料。地震网格计算应用插件以油气地震勘探应用网格(SeisGrid)为运行框架,完成网格环境下的地震成像计算。在iCluster叠前深度偏移...
其目标是建设提供计算强度大、共享超过 1014B 数据的大规模分布式数据库的下一代计算 基础设施。 UNICORE 既是德国联邦教育和研究部资助的一个项目, 它的目的是...
在网格计算平台下,不仅可快速地将 全球气象资源地理...采用面 向对象的数据模型--GeoDatabase建立地理数据...由于地理信息服务网格本身是一个复杂 的分布式系统,...
通过汇集 Internet的高性能计算资源,建立虚拟超级计算...Globus,Avaki,Condor,Unicore,LSF,Sun Grid等 等...中国国家气象网格 生物信息网格 空间信息栅格等 Grid...
建设国家高性能计算环境(网格), 推动重大行业的网格...UNICORE的特点提供了统一的任务调度接口,提供了图形...气象 电子商务 船舶汽车 电子政务远程教育 石油 生命...
一个三层分布式计算网格任务调度系统_专业资料。将调度...将调度系统与网格中其他组件有效整合、建立网格环境下...[4]和 UNICORE[5]等保障作业可以远程部署 到多个...
了大量的分布式计算技术,如中间件 技术,网格技术,...分成三个部分,分别是应用部分、运行时库和核心构件...主要基于德国的UNICORE系统,分成 服务层、网关层和...
Globus,Avaki,Condor,Unicore,LSF,Sun Grid等 ?网格...?Globus目标是成为“分布式计算的Linux”。 ?形成一...建设若干个大型行业应用网格; ? 气象服务网格、航空...
性能计算 环境,应用包括了分布式计算、高吞吐量计算...全球服务部提供网格计算的构建、运行和维护所需的一...除此之外,欧洲还有DataGrid、 UNICORE、MOL 等网格...
分布式超级计算 网格计算可以把分布式的超级计算机集中...UNICORE ,德国的研究项目,始于1997,目的 是将德国的...中国国家气象网格 ? 遥感图像处理网格 ? 空间信息...
热门文档