计算机与现代化
2013年第9期
文章编号:1006-2475(2013)09-0075-03
JISUANJIYUXIANDAIHUA
总第217期
大数据处理技术与探索
肖
飞,齐立磊
(南阳理工学院软件学院,河南南阳473004)
摘要:“大数据”的兴起给传统的基础设施带来了挑战。基于对大数据特征的理解,针对批处理模式的大数据应用,设计一个基于开源项目的实验平台,并对大数据与云计算的关系进行分析。,最后对大数据应用的未来作了展望。关键词:大数据;4V;Hadoop;OpenStack中图分类号:TP393
文献标识码:A
doi:10.3969/j.issn.1006—2475.2013.09.018
ExplorationofBigDataProcessingTechnology
XIAO
Fei,QI
Institute
Li—lei
(SchoolofSoftwareEngineering,Nanyang
Abstract:“Bigdata”posesperiment
ofTechnology,Nanyang473004,China)
theunderstandingofbigdata,an
a
challengefortraditionalinformationinfrastructure.Based
on
on
ex—
platform
forbatchmodeapplicationsisdesignedbased
open
source
proiects.Therelationshipbetweencloudcompu—
ringandbigdataisdescribed,andthefutureofbigdataapplicationsisdiscussed.Keywords:bigdata;4V;Hadoop;OpenStack
0
引言
获得如下的结果:关于大数据的概念推广的论文有14篇,讨论基础架构的论文有19篇,应用开发的论
近几年,“大数据”技术逐渐成为学术界和工业
界关注的热点。参照GoogleTrends对大数据搜索量的统计,可以看出:虽然“BigData”这一名词由来已
文有3篇,其它论文有6篇,见图2。由此可见目前大数据的研究集中在概念证明及基础架构的探索上,
而关于实际应用的文献还比较少15。
其t用开发
概念推广
久,但是直到2011年才被广泛关注(见图1)。在中国知网中搜索关于大数据的论文,可以看到,以“大
数据”为关键字的论文,从2004年到2010年底仅有15篇,而2011年到2012年就有27篇之多。
隍索}『}指女
(
州m1.J
DJlII,
基础架构
■
/
图2论文主题的分布
0.2c04
2005
…1.r.
20嘶
L^.一——■、
2007
-^一 ,1
2∞8
_,k-M■1●V‘”‰一
2009
2010
20Il
I|
当前在工业界,应用大数据的企业主要分布在互联网、电信运营商等领域。国内最典型的案例属淘宝网:每天买家卖家的在线交易可产生超过50TB的新增数据。这些海量的交易数据已经成为阿里集团提
新闻引Ⅲ自
0
.
J
.“Ar
图1
Google
Trends的统计
供增值服务,开展金融业务的核心资产。据统计,阿里巴巴旗下的阿里金融曾创造过日均完成贷款接近
通过对以“大数据”为关键字的论文分析,可以
收稿日期:2013-05-24
作者简介:肖飞(1979一),男,河南南阳人,南阳理工学院软件学院讲师,硕士,研究方向:软件工程,云计算;齐立磊(1980一),男,河南南阳人,讲师,硕士,研究方向:网络工程,计算机应用。
2013 年第 9 期 2475 ( 2013 ) 09007503 文章编号: 1006- 计算机与现代化 JISUANJI YU XIANDAIHUA 总第 217 期 大数据处理技术与探索肖 飞, 齐立磊 ( 南阳...
大数据处理技术探索_肖飞_齐立磊 隐藏>> 网络出版时间:2013-09-18 13:27 网络出版地址:http://www.cnki.net/kcms/detail/36.1137.TP.20130918.1327.201309...
5 4. 大数据技术的发展: ... 5 5. 大数据技术组成: ... 8 5.1 分析技术 ... 8 5.1.1 可视化分析 ... 9 5.1.2 数据...
高并发下的大数据处理架构探索与实践_互联网_IT/计算机_专业资料。网 络 技 术 《电信网技术》 2013 年 7 月第 7 期 高并发下的大数据处理架构探索与实践...
同时对 新的大数据分析方案Hadoop进行了梳理,提出了未来大数据智能分析技术的发展... Teradat a天睿公司推出的TeradataAster大数据探索平台(TeradataAsterDiscoveryPlat...
2014 年第 3 期 广东公安科技 总第 117 期 公安大数据处理平台的探索吕益民...而另外 3 项关键 技术创新工程, 包括信息感知技术、 信息传 的研究和应用已...
(Big Data Initiative),拟投入2亿 美元用于研究开发科 学探索、环境和生物 医学、教育和国家安 全等重大领域和行业 所急需的大数据处理 技术和工具,把大数 据...
重 点攻克分布式虚拟存储技术,大数据获取、存储、组织、分析和决策操作的可视 化... 聚类分析(系统聚类、动态聚类等)、探索性分析(主元分析法、相关分析法等) 等...
大数据技术 导论 2014_计算机软件及应用_IT/计算机...PB级 ? 快速处理(velocity):快速数据流转和动态数据...深空探索 深海探测 深网挖掘 实现大数据价值的 ...
热门文档