分布式独立内存简易集群搭建测试与应用
李仕诚 韩菲 苏辉
摘要:新时期地球物理勘探事业的发展,对高性能计算给出了越来越高的要求。我们也在不断的寻找提高计算效率的方法;本文提出一种基于linux系统下的小型高性能计算集群的构建方案,能够进行软件共享,数据共享,有效解决大规模计算问题,提高计算速度并且降低计算成本。采用Linpack对集群浮点运算性能进行分析测试,分别与单机下浮点运算性能和刀片式服务器集群的浮点运算性能进行对比分析,得出结论。最后,将搭建好的集群在地震资料处理中得到了有效的应用。
关键字:高性能计算 计算效率 软件共享 数据共享 环境应用
引言
随着计算机的广泛应用和性能的大幅度提高,计算机处理问题的规模也越来越大。尤其在地震勘探领域中,快速处理大规模地震数据的要求与日俱增。地震勘探方法是目前使用最为广泛、解决油气勘探问题最为有效的地球物理方法。该原理是利用人工方法引起地壳震动,再用精密仪器按一定的观测方式记录爆炸后地面上各接收点的振动信息,通过分析和处理这些大量数据推断地下的地质构造。该方法收集到的数据都数以TB,海洋探测的数据量更是数以PB级别。高性能计算机若在短时间内完成对这种数据量的分析,需要具有惊人的计算能力。因此,计算机的高性能计算能力在地震勘探领域中举足轻重,提高计算机的并行处理能力和浮点运算能力势在必行。目前,单个处理器的计算性能可提升的空间越来越小,将一组高性能计算机连接起来组成具有并行结构的高性能集群,实现高效并行计算,是满足科学和工程计算问题中高性能数据处理要求的有效途径。
计算机集群的概念:多台同构或异构的计算机用某种方式连接起来,协同完成特定的任务就构成了集群系统,目前计算机集群技术按照使用目的可分为三类:高可用集群(High Availabilty Cluster)、负载均衡集群(Load Balance Cluster)、科学计算集群(High Performance Computing Cluster)。高可用集群,利用集群管理软件,当主服务器出现故障时,备份服务器能够自动接管主服务器的工作,并及时切换过去,以实现对用户的不间断服务;负载均衡集群,负载压力根据某种算法合理分配到集群中的每一台计算机上,以减轻主服务器的压力,降低对主服务器的硬件和软件要求。科学计算集群,即充分利用集群中的每一台计算机的资源,实现复杂运算的并行处理,通常用于科学计算领域。集群所用计算机可以是工作站,普通PC机、刀片式服务器或机架式服务器。针对地震资料处理的高吞吐量、高密度数据通信等特点,本文为解决大型地震数据处理问题,选用7台linuxPC机,构建小型高性能计算集群。
一、基于linux简易集群搭建
集群是由一组独立的计算机系统构成的一个松耦合的多处理器系统。他以网络技术将一组工作站或PC机连接起来,计算机之间高度紧密地协同工作。像一个单独集成的计算资源运行一组共用的应用程序,为用户和应用程序提供类似单机系统的功能。
搭建hadoop分布式集群_计算机软件及应用_IT/计算机_专业资料。搭建hadoop分布式集群1.Hadoop2.0.3 简述与之前的稳定的 hadoop-1.x 相比,Apache Hadoop 2.x 有...
配置为内存 1-2G 不等,每台有两块以上的 73G ...分布式集群文件系统配置及测试文档 Page 2 Of 14 6...大量的客户端 只会进行简单的读取文件的操作,只有...
使用loadrunner集群进行分布式测试介绍_IT/计算机_专业资料。loadrunner 集群 ...? 2. 集群环境安装与配置? bu 1. 在中心控制机上安装完整的 loadrunner 应用...
GlusterFS分布式集群文件系统安装、配置及性能测试_IT...服务器组成了测试环境,配置为内存 1-2G 不等,每...afr2 afr3 end-volume GlusterFS 的主要配置都在...
hadoop分布式集群搭建_计算机软件及应用_IT/计算机_.../~/.ssh 测试 name 节点无密码登录 c1 机器: ...在 name 节点的 hosts 里加入 10.0.0.116 c2,...
计算机集群的搭建_测试与应用_电脑基础知识_IT/...2 集群搭建实例以下以一个高性能计算集群的搭建为例... 分布式独立内存简易集群... 暂无评价 8页 免费 ...
matlab 集群搭建及使用_计算机软件及应用_IT/计算机....2 分布式计算引擎(服务器)(MDCE) o 1.3 集群..., 每个 worker node 分配 512 兆内存的实验集群。...
Hadoop完全分布式集群安装_计算机软件及应用_IT/计算机...Intel 酷睿双核 2.2Ghz 内存: 4G 硬盘: 320G ...集群情况 一、 配置 hosts 文件 先简单说明下配置 ...
实现了量子化学软件Gaussian的应用,进一步测试了Rocks...2高性能集群的构建高性能计算(HighPerformances...Ganglia是一个分布式的监控工具,用来实现集群上的节点...
价格比的体系逐渐 成为应用主流--分布式集群计算体系...(结点) 有各自的物理内存空间并且并且通过高速链路...集群的可扩展性及其分布式体系结构(2) 体系结构比 ...
热门文档