第23卷 现代教育技术 Vol. 23 2013年第10期 Modern Educational Technology No.10 2013
面向科学大数据的云计算平台构建研究
——以东南大学为例
毕建新1,2 陈 雅2 郑建明2
(1.东南大学 科研院,江苏南京 210096;2.南京大学 信息管理学院,江苏南京 210093)
【摘要】云计算与大数据是目前商业界和政府部门研究的热点问题,同时学术界也对大数据与云计算在科学研究中的应用开展了大量研究。大数据包括体量、多样性、价值和速度四方面特点;云计算包括弹性服务、资源池化、按需服务、服务可计费和泛在接入等五方面特点。两者之间是一种相互依存的关系。当前科学研究面临着大数据的众多挑战,云计算平台构建就成为解决之道。文章以东南大学参与的AMS实验项目为例,介绍了面向科学大数据的云计算平台构建。 【关键词】科学大数据;云计算;平台构建
【中图分类号】G40-057 【文献标识码】A 【论文编号】1009—8097(2013)10—0072—04 【DOI】10.3969/j.issn.1009-8097.2013.10.014
随着新一代大规模互联网应用的迅猛发展,产生了远远超过以往的海量数据,使用传统的数据存储与处理技术将耗费大量的时间和金钱,并且效率低下。为了解决这一难题,云计算与大数据的概念应运而生。
了云计算用于生物学科学研究的可行性,他们认为,“在生物学领域里的大规模数据的产生、存储与分析将使用云计算与大数据的相关理论与方法,所面临的挑战是如何将大数据问题与正确的计算方法相匹配”。
综上所述,云计算与大数据之间的相互需求与密切关系已经得到公认,目前两者更多的应用于商业领域,云计算的出现使得大数据的处理效率大大提升,同时处理成本得到有效降低。由于在商业领域的出色应用,云计算与大数据的理论与方法在科学研究中也逐步得到应用。本文即针对科学研究中的大数据开展云计算平台的构建研究。
一 相关研究
云计算可以为大数据处理提供强大的计算能力。对亚马逊公司的研究显示,“若亚马逊使用传统的数据处理方法在1000个节点上处理1PB的数据需要耗费750天时间耗资六百万美元,而使用云计算的MapReduce技术处理相同的数据,则只需要350分钟耗资仅2040美元”[1]。EMC公司的首席信息官Mirchandani[2]认为“云计算和大数据是目前IT行业两个最大的创新,他们将改变商业管理的方式并从最重要的资产信息中获取相应的价值”。在用户使用云计算后,用户可以在其服务、存储等虚拟化的过程中快速的看到其价值,并极大地降低使用的复杂性与使用成本。Zhang Liang-Jie[3]认为目前“我们处于大服务时代,云计算和大数据包含以下几大创新,即云计算和大数据创造了一种崭新的商业模式;在应用程序架构上,云计算和大数据加快了应用软件的服务化;在数据结构上,由于需要强大的计算能力和存储能力,大数据的数据结构被重新设计;在技术架构上,软件、硬件与服务被集成一体提供给开发人员;在云计算体系架构上,各架构之间的信息交换需要建立统一的标准和协议方可实现”。美国国家标准与技术研究院信息技术实验室主任Chuck Romine[4]认为“云计算与大数据都是当下的发展趋势,二者融合的趋势则更加明显。云计算使大数据对于那些无法有效利用他们的人而言变得更容易获得,相反,大数据也为在传统海量数据规模下无法获得的发现与创新打开了大门”。Eric等[5]学者讨论72
二 大数据与云计算的关系
1 大数据与云计算的概念及特点
研究机构Gartner[6]认为“大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产”。大数据技术的意义不在于掌握海量的数据信息,而在于对这些数据进行专业化处理与分析,关键在于提高对数据的加工能力,通过加工实现数据的增值。大数据通常为非结构化和半结构化数据,具有四个特点:第一,数据体量巨大,从TB级别上升至PB级别。第二,数据类型繁多,包含视频、音频、图形、图像、文本等等。第三,价值密度低。第四,处理速度快。学界将其归纳为4个V——体量(Volume)、多样性(Variety)、价值(Value)、速度(Velocity)。
2006年Google、Amazon等公司提出了“云计算”的概念。根据美国国家标准与技术研究院(NIST)[7]的定义,“云计算是一种利用互联网实现随时随地、按需、便捷地访问共享资源池(如计算设施、存储设备、应用程序等)的计算模式”。
面向科学大数据的云计算平台构建研究——以东南大学为例_哲学/历史_人文社科_专业资料。第2 3卷 2013 年第 l 0期 现 代教 育技术 Modem Educational ...
提高反应速度 云计算平台存储型云平 台 ? 以数据...(加利福尼亚大学)创建了一个使企业能够使用它们内部IT...Nimbus面向科学计算需求,通过一组开源工具来实现基础...
上海交通大 学注重于数据的安全和隐私关键性技术研究, 合肥工业大学侧重将人工... 设计出了一个面向科学计算与企 业信息化的云计算平台 GRANE;实现了一个面向...
云计算平台可以划分为3类:以数据存储为主的存储型云...(加利福尼亚大学) 创建了一个使企业能够使用它们内部...(网格中间件 Globus) Nimbus 面向科学计算需求,通过...
”关于面向Web的研究,近期中国科学院计算技 术研究所开发了数据挖掘云服务平台...何清:2000年7月北京师范大学数学系模糊 数学与人工智能专业博士毕业,获博士学位...
挖掘平台架构及其关键技术研究_化学_自然科学_专业... 药检云计算平台构建及大... 暂无评价 8页 3... 面向云计算的数据挖掘系... 3页 1下载券...
科学研究与云计算_计算机软件及应用_IT/计算机_...东南大学学报 ( 自然科学版 ),2003(04). [2]... 面向科学大数据的云计算... 暂无评价 4页 3...
云服务提供商的数据中心拥有规模庞 大的计算和存贮...商需要考虑从计算 中心的建设到硬件平台的所有资源...(东南大学 信息科学与工程学院,江苏南京 210096)摘要...
研究中,科学家们采用了一系列科学研究方法进 行研究...云计算环境下的用户来说, 在云中进行计算操作或数据...实现概念计算的方法.东南大学学报(自然科学版),2003...
应用科技 云计算在电信运营商互联网数据中心建设中的...手套的机械手控制技术应用[J].计算机应 用研究,...东南大学,2006. [5] 倪涛.有力觉及视觉临场感的...
热门文档