76
计算机与现代化2013年第9期
1万笔、平均每笔7600元的纪录;自2010年以来累对数据的处理。多大的数据量才能被称为大数据呢?考虑到目前的数据库优化技术已经非常成熟、晶体管电路已接近其物理上的性能极限,大多数人认为这个
量在TB和PB之间。多样性指数据类型复杂,除关系数据库中的结构化数据外,还需要面对日志、传感器数据、文本、图片、声音、视频等半结构化或非结构化数据。将半结构化数据转换为结构化数据处理,对系统来说也仅仅是增加了一个步骤,也不是“大”问
计投放280亿元贷款,为超过13万家小微企业、个人创业者提供了融资服务,而贷款的不良率被控制在1%以下。大数据对这些企业的发展壮大起到了至关
重要的作用。
大数据的兴起创造了一个热门的职业——数据
科学家(DataScientist),即运用统计分析、机器学习、
分布式处理等技术,从大量数据中提取出对业务有意义的信息,以易懂的形式传达给决策者,并创造出新的数据运用服务的岗位。参考一些行业领导企业的招聘信息,可以归纳出这一岗位的知识与技能要求,
见表1。
表1数据科学家的岗位技能
具有计算机相关专业硕士以上学位;
至少熟练掌握一种脚本语言,如Python、PHP等;
计算机科学精通关系型数据库和SQL;
使用MapReduee、Hadoop、Hive等工具处理大数据集的经验。
数学、统计、数据挖掘数据可视化
数学、统计方面的基础知识;
使用R、MATLAB、SAS等分析工具的经验。
熟悉各种数据可视化方法,能够将分析结果可视化。
题;而对图片、声音、视频等非结构化数据难以识别的
问题也不是一个新问题,但是计算能力的大规模扩展
可能为此类问题的解决准备了一个条件旧引。所以,
大数据的挑战性在于:如何以一种经济的、相对安全
的、可持续的方式存储大量的数据?如何高速地计算
这些快速变化的数据,从中发现有价值的信息?
2基于开源技术的研究平台
当前对大数据的处理主要采用批处理的模式,即先存储后计算。对存储的核心要求是扩展性,即存储能力要随着数据的增长而增长;对计算的核心要求是
伸缩性,即在数据收集阶段不需要太大的计算资源,而在对数据进行统计分析时需要快速地聚集超大的计算能力。
大数据的特征与挑战
虽然“大数据”一词非常流行,但是其定义仍未统一。来自维基百科的定义为:大数据指数量巨大、类型复杂的数据集合,现有的数据库管理工具或传统的数据处理应用难以对其进行处理。这些挑战包括
如捕获、收集、存储、搜索、共享、传递、分析与可视化等…。著名的咨询公司Gartner给出的定义是:大数据是海量、高增长和多样化的信息资产,可用于增强
洞察力、改进决策,但需要新的、更划算的信息处理模
斗『2]武。。o
图3
运行在OpenStack之上的Hadoop
综合网络上对大数据的描述,多数定义都提到了
3个维度,分别是数量(Volume)、多样性(Variety)和速度(Velocity),简称3V。在这3V之外,著名的IBM公司提出了关于精确性(Veracity)的第4V,强调应对与管理某些类型数据中固有的不确定性的重要性;而国际数据公司(International
Data
基于此种认识,本文设计了一个基于开源技术
Hadoop和OpenStack的大数据实验研究平台,见图3。Hadoop是一个开源的分布式软件框架,它的核心模块HDFS和MapReduce可以实现分布式文件存储与计算。
OpenStack是一个开源的云计算平台,它可以实现类
似亚马逊EC2和S3的基础设施级服务。OpenStack
Corporation,IDC)认
为大数据还应当具有价值性(Value)的第4V,强调海量数据中蕴涵着重要的价值p11。
海量指大数据项目需要存储和计算的数据集规
模特别巨大,这应当是大数据被称为“大”的主要原
主要由5部分组成:Nova(控制器)、Swift(存储服务)、Glance(镜像服务)、Keystone(身份认证)和Ho—
rizon(WebUI)。在大数据实验研究平台中,Hadoop的众多NameNode被部署在OpenStack管理的虚拟机上,NameNode(包括TaskTracker在内)所需OS及程序镜像被保存在OpenStack的Glance服务器中。当
因;另外此类数据集还处于高速增长的状态,从而导
致传统的数据库管理技术难以在合理的时问内完成
2013 年第 9 期 2475 ( 2013 ) 09007503 文章编号: 1006- 计算机与现代化 JISUANJI YU XIANDAIHUA 总第 217 期 大数据处理技术与探索肖 飞, 齐立磊 ( 南阳...
大数据处理技术探索_肖飞_齐立磊 隐藏>> 网络出版时间:2013-09-18 13:27 网络出版地址:http://www.cnki.net/kcms/detail/36.1137.TP.20130918.1327.201309...
5 4. 大数据技术的发展: ... 5 5. 大数据技术组成: ... 8 5.1 分析技术 ... 8 5.1.1 可视化分析 ... 9 5.1.2 数据...
高并发下的大数据处理架构探索与实践_互联网_IT/计算机_专业资料。网 络 技 术 《电信网技术》 2013 年 7 月第 7 期 高并发下的大数据处理架构探索与实践...
同时对 新的大数据分析方案Hadoop进行了梳理,提出了未来大数据智能分析技术的发展... Teradat a天睿公司推出的TeradataAster大数据探索平台(TeradataAsterDiscoveryPlat...
2014 年第 3 期 广东公安科技 总第 117 期 公安大数据处理平台的探索吕益民...而另外 3 项关键 技术创新工程, 包括信息感知技术、 信息传 的研究和应用已...
(Big Data Initiative),拟投入2亿 美元用于研究开发科 学探索、环境和生物 医学、教育和国家安 全等重大领域和行业 所急需的大数据处理 技术和工具,把大数 据...
重 点攻克分布式虚拟存储技术,大数据获取、存储、组织、分析和决策操作的可视 化... 聚类分析(系统聚类、动态聚类等)、探索性分析(主元分析法、相关分析法等) 等...
大数据技术 导论 2014_计算机软件及应用_IT/计算机...PB级 ? 快速处理(velocity):快速数据流转和动态数据...深空探索 深海探测 深网挖掘 实现大数据价值的 ...
热门文档