2013年第9期肖飞等:大数据处理技术探索
Hadoop集群的负载增加或存储容量不足时,可以通过OpenStack管理节点动态地申请资源:扩展Name—Node所在虚拟机的VCUP数量、磁盘空间;或者在更
多的虚拟机上部署NameNode‘10l。
使用OpenStack来管理Hadoop所需的基础设施,可以避免不必要的资源浪费。大数据需要超大的存储设备来保存海量的数据。如果一开始就将巨大的存储空间固定分配给某个大数据应用,由于数据的积累可能需要比较长的时间,那么大量的存储能力就白白浪费了;如果分配少了,存储空间可能很快被用完。计算能力的分配也是如此Ⅲ。引。
另外,OpenStack提供了一套完整的REST格式的API,通过编程来简化Hadoop的部署,实现自动、快速的计算与存储能力扩展。更改虚拟机计算及存储能力的部分代码如下:
Stringkeystone=”http://10.104.0.1:5000/”;//identity
service
Stringnova=”http://10.104.0.1:8774/”;//compute
service
Stringglance=”hap://10.104.0.1:9292/”;//image
serv-
ice
//重设虚拟机的类型(flavor包含VCPU、RAM、DISK等要素)
publicvoid
removeIP(String
vid,String
flavor){
JsonObjectjo=Json.createObjectBuilder().add(”resize”,Json.createObjectBuilder().add(”flavorRef”,flavor)).build
();
post(vid,jo.toString());}
privatesynchronizedvoid
post(String
vid,String
content){
if(!hasToken()){applyToken();//身份验证}
HttpPosthttpPost=newHttpPost(nova+”v2/”+tenant—id
+”/servers/”+vid+”/action”);
try{
httpPost.addHeader(”X-AutII—Token”,token—id);httpPost.addHeader(”Content-type”,”applicatiort/json”);httpPost.setEntity(newStringEntity(content));httpclient.execute(httpPost);//RestfulWebServiceAPI
}catch(Exceptione){}finally{
httpPost.releaseConnection();//释放与OpenStack服务器的连接
}
3结束语
大数据需要超大的存储容量和计算能力,云计算作为一种业务模式的创新,为大数据的研究及应用准备了硬件基础,解决了“经济”这个大问题。随着技术的成熟,让机器来收集和统计海量的数据不再是难事,但是大数据中价值的挖掘必须有人的参与,因此为用户提供更多观察数据的视图(可视化)、简化软件的使用方式,也是大数据研究需要重视的方面。
参考文献:
[1]Wikipedia.BigData[EB/OL].http://en.wikipedia.org/
wiki/Big_data,2013-03-01.
[2]Gartner.Big
Data
Definition[EB/OL].http://www.gait—
ner.corn/it-glossary/big-data/,2013-03—16.
[3]王珊,王会举,覃雄派,等.架构大数据:挑战、现状与展望[J].计算机学报,2011,34(10):1741-1752.
[4]宫学庆,金澈清,王晓玲,等.数据密集型科学与工程:
需求和挑战[J].计算机学报,2012,35(8):1563 1578.[5]
孟小峰,慈祥.大数据管理:概念、技术与挑战[J].计算机研究与发展,2013,50(1):146.169.
[6]亓开元,赵卓峰,房俊,等.针对高速数据流的大规模数据实时处理方法[J].计算机学报,2012,35(3):477.
490.
[7]
李成华,张新访,金海,等.MapReduce:新型的分布式并行计算编程模型[J].计算机工程与科学,2011,33(3):129-135.
[8]
崔杰,李陶深,兰红星.基于Hadoop的海量数据存储平台设计与开发[J].计算机研究与发展,2012,49(z1):
12.18.
[9]
覃雄派,王会举,杜小勇,等.大数据分析——RDBMS
与MapReduce的竞争与共生[J].软件学报,2012,23(1):32-45.
[10]杨绎.基于文献计量的“大数据”研究[J].图书馆杂
志,2012,31(9):29-32,37.
[11]吴丽华,冯建平,曹均阔.中文网络评论的IrI'产品特征
挖掘及情感倾向分析[J].计算机与数字工程,2012,
40(11):52.54,131.
[12]张浩,郭灿.数据可视化技术应用趋势与分类研究[J].
软件导刊,2012,11(5):169-172.
[13]张晓利.MATLAB中三维数据可视化及应用[J].价值
工程,2011,30(24):143.
[14]高科.基于HTML5的数据可视化实现方法研究[J].
科技传播,2013(1):186-187.
2013 年第 9 期 2475 ( 2013 ) 09007503 文章编号: 1006- 计算机与现代化 JISUANJI YU XIANDAIHUA 总第 217 期 大数据处理技术与探索肖 飞, 齐立磊 ( 南阳...
大数据处理技术探索_肖飞_齐立磊 隐藏>> 网络出版时间:2013-09-18 13:27 网络出版地址:http://www.cnki.net/kcms/detail/36.1137.TP.20130918.1327.201309...
5 4. 大数据技术的发展: ... 5 5. 大数据技术组成: ... 8 5.1 分析技术 ... 8 5.1.1 可视化分析 ... 9 5.1.2 数据...
高并发下的大数据处理架构探索与实践_互联网_IT/计算机_专业资料。网 络 技 术 《电信网技术》 2013 年 7 月第 7 期 高并发下的大数据处理架构探索与实践...
同时对 新的大数据分析方案Hadoop进行了梳理,提出了未来大数据智能分析技术的发展... Teradat a天睿公司推出的TeradataAster大数据探索平台(TeradataAsterDiscoveryPlat...
2014 年第 3 期 广东公安科技 总第 117 期 公安大数据处理平台的探索吕益民...而另外 3 项关键 技术创新工程, 包括信息感知技术、 信息传 的研究和应用已...
(Big Data Initiative),拟投入2亿 美元用于研究开发科 学探索、环境和生物 医学、教育和国家安 全等重大领域和行业 所急需的大数据处理 技术和工具,把大数 据...
重 点攻克分布式虚拟存储技术,大数据获取、存储、组织、分析和决策操作的可视 化... 聚类分析(系统聚类、动态聚类等)、探索性分析(主元分析法、相关分析法等) 等...
大数据技术 导论 2014_计算机软件及应用_IT/计算机...PB级 ? 快速处理(velocity):快速数据流转和动态数据...深空探索 深海探测 深网挖掘 实现大数据价值的 ...
热门文档