文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 互联网 > 大数据处理技术与探索
侵权投诉

大数据处理技术与探索

2013年第9期肖飞等:大数据处理技术探索

Hadoop集群的负载增加或存储容量不足时,可以通过OpenStack管理节点动态地申请资源:扩展Name—Node所在虚拟机的VCUP数量、磁盘空间;或者在更

多的虚拟机上部署NameNode‘10l。

使用OpenStack来管理Hadoop所需的基础设施,可以避免不必要的资源浪费。大数据需要超大的存储设备来保存海量的数据。如果一开始就将巨大的存储空间固定分配给某个大数据应用,由于数据的积累可能需要比较长的时间,那么大量的存储能力就白白浪费了;如果分配少了,存储空间可能很快被用完。计算能力的分配也是如此Ⅲ。引。

另外,OpenStack提供了一套完整的REST格式的API,通过编程来简化Hadoop的部署,实现自动、快速的计算与存储能力扩展。更改虚拟机计算及存储能力的部分代码如下:

Stringkeystone=”http://10.104.0.1:5000/”;//identity

service

Stringnova=”http://10.104.0.1:8774/”;//compute

service

Stringglance=”hap://10.104.0.1:9292/”;//image

serv-

ice

//重设虚拟机的类型(flavor包含VCPU、RAM、DISK等要素)

publicvoid

removeIP(String

vid,String

flavor){

JsonObjectjo=Json.createObjectBuilder().add(”resize”,Json.createObjectBuilder().add(”flavorRef”,flavor)).build

();

post(vid,jo.toString());}

privatesynchronizedvoid

post(String

vid,String

content){

if(!hasToken()){applyToken();//身份验证}

HttpPosthttpPost=newHttpPost(nova+”v2/”+tenant—id

+”/servers/”+vid+”/action”);

try{

httpPost.addHeader(”X-AutII—Token”,token—id);httpPost.addHeader(”Content-type”,”applicatiort/json”);httpPost.setEntity(newStringEntity(content));httpclient.execute(httpPost);//RestfulWebServiceAPI

}catch(Exceptione){}finally{

httpPost.releaseConnection();//释放与OpenStack服务器的连接

}

3结束语

大数据需要超大的存储容量和计算能力,云计算作为一种业务模式的创新,为大数据的研究及应用准备了硬件基础,解决了“经济”这个大问题。随着技术的成熟,让机器来收集和统计海量的数据不再是难事,但是大数据中价值的挖掘必须有人的参与,因此为用户提供更多观察数据的视图(可视化)、简化软件的使用方式,也是大数据研究需要重视的方面。

参考文献:

[1]Wikipedia.BigData[EB/OL].http://en.wikipedia.org/

wiki/Big_data,2013-03-01.

[2]Gartner.Big

Data

Definition[EB/OL].http://www.gait—

ner.corn/it-glossary/big-data/,2013-03—16.

[3]王珊,王会举,覃雄派,等.架构大数据:挑战、现状与展望[J].计算机学报,2011,34(10):1741-1752.

[4]宫学庆,金澈清,王晓玲,等.数据密集型科学与工程:

需求和挑战[J].计算机学报,2012,35(8):1563 1578.[5]

孟小峰,慈祥.大数据管理:概念、技术与挑战[J].计算机研究与发展,2013,50(1):146.169.

[6]亓开元,赵卓峰,房俊,等.针对高速数据流的大规模数据实时处理方法[J].计算机学报,2012,35(3):477.

490.

[7]

李成华,张新访,金海,等.MapReduce:新型的分布式并行计算编程模型[J].计算机工程与科学,2011,33(3):129-135.

[8]

崔杰,李陶深,兰红星.基于Hadoop的海量数据存储平台设计与开发[J].计算机研究与发展,2012,49(z1):

12.18.

[9]

覃雄派,王会举,杜小勇,等.大数据分析——RDBMS

与MapReduce的竞争与共生[J].软件学报,2012,23(1):32-45.

[10]杨绎.基于文献计量的“大数据”研究[J].图书馆杂

志,2012,31(9):29-32,37.

[11]吴丽华,冯建平,曹均阔.中文网络评论的IrI'产品特征

挖掘及情感倾向分析[J].计算机与数字工程,2012,

40(11):52.54,131.

[12]张浩,郭灿.数据可视化技术应用趋势与分类研究[J].

软件导刊,2012,11(5):169-172.

[13]张晓利.MATLAB中三维数据可视化及应用[J].价值

工程,2011,30(24):143.

[14]高科.基于HTML5的数据可视化实现方法研究[J].

科技传播,2013(1):186-187.

上一页第3页

你可能喜欢

热门文档

相关文档

  • 大数据处理技术与探索_肖飞

    2013 年第 9 期 2475 ( 2013 ) 09007503 文章编号: 1006- 计算机与现代化 JISUANJI YU XIANDAIHUA 总第 217 期 大数据处理技术与探索肖 飞, 齐立磊 ( 南阳...

  • 大数据处理技术探索_肖飞_齐立磊

    大数据处理技术探索_肖飞_齐立磊 隐藏>> 网络出版时间:2013-09-18 13:27 网络出版地址:http://www.cnki.net/kcms/detail/36.1137.TP.20130918.1327.201309...

  • 大数据处理技术研究

    5 4. 大数据技术的发展: ... 5 5. 大数据技术组成: ... 8 5.1 分析技术 ... 8 5.1.1 可视化分析 ... 9 5.1.2 数据...

  • 高并发下的大数据处理架构探索与实践

    高并发下的大数据处理架构探索与实践_互联网_IT/计算机_专业资料。网 络 技 术 《电信网技术》 2013 年 7 月第 7 期 高并发下的大数据处理架构探索与实践...

  • 大数据下的智能数据分析技术研究

    同时对 新的大数据分析方案Hadoop进行了梳理,提出了未来大数据智能分析技术的发展... Teradat a天睿公司推出的TeradataAster大数据探索平台(TeradataAsterDiscoveryPlat...

  • 公安大数据处理平台的探索

    2014 年第 3 期 广东公安科技 总第 117 期 公安大数据处理平台的探索吕益民...而另外 3 项关键 技术创新工程, 包括信息感知技术、 信息传 的研究和应用已...

  • 大数据研究的技术层面和主要研究内容

    (Big Data Initiative),拟投入2亿 美元用于研究开发科 学探索、环境和生物 医学、教育和国家安 全等重大领域和行业 所急需的大数据处理 技术和工具,把大数 据...

  • 大数据技术的应用

    重 点攻克分布式虚拟存储技术,大数据获取、存储、组织、分析和决策操作的可视 化... 聚类分析(系统聚类、动态聚类等)、探索性分析(主元分析法、相关分析法等) 等...

  • 大数据技术 导论 2014

    大数据技术 导论 2014_计算机软件及应用_IT/计算机...PB级 ? 快速处理(velocity):快速数据流转和动态数据...深空探索 深海探测 深网挖掘 实现大数据价值的 ...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email