文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 互联网 > 大数据处理技术与探索
侵权投诉

大数据处理技术与探索

76

计算机与现代化2013年第9期

1万笔、平均每笔7600元的纪录;自2010年以来累对数据的处理。多大的数据量才能被称为大数据呢?考虑到目前的数据库优化技术已经非常成熟、晶体管电路已接近其物理上的性能极限,大多数人认为这个

量在TB和PB之间。多样性指数据类型复杂,除关系数据库中的结构化数据外,还需要面对日志、传感器数据、文本、图片、声音、视频等半结构化或非结构化数据。将半结构化数据转换为结构化数据处理,对系统来说也仅仅是增加了一个步骤,也不是“大”问

计投放280亿元贷款,为超过13万家小微企业、个人创业者提供了融资服务,而贷款的不良率被控制在1%以下。大数据对这些企业的发展壮大起到了至关

重要的作用。

大数据的兴起创造了一个热门的职业——数据

科学家(DataScientist),即运用统计分析、机器学习、

分布式处理等技术,从大量数据中提取出对业务有意义的信息,以易懂的形式传达给决策者,并创造出新的数据运用服务的岗位。参考一些行业领导企业的招聘信息,可以归纳出这一岗位的知识与技能要求,

见表1。

表1数据科学家的岗位技能

具有计算机相关专业硕士以上学位;

至少熟练掌握一种脚本语言,如Python、PHP等;

计算机科学精通关系型数据库和SQL;

使用MapReduee、Hadoop、Hive等工具处理大数据集的经验。

数学、统计、数据挖掘数据可视化

数学、统计方面的基础知识;

使用R、MATLAB、SAS等分析工具的经验。

熟悉各种数据可视化方法,能够将分析结果可视化。

题;而对图片、声音、视频等非结构化数据难以识别的

问题也不是一个新问题,但是计算能力的大规模扩展

可能为此类问题的解决准备了一个条件旧引。所以,

大数据的挑战性在于:如何以一种经济的、相对安全

的、可持续的方式存储大量的数据?如何高速地计算

这些快速变化的数据,从中发现有价值的信息?

2基于开源技术的研究平台

当前对大数据的处理主要采用批处理的模式,即先存储后计算。对存储的核心要求是扩展性,即存储能力要随着数据的增长而增长;对计算的核心要求是

伸缩性,即在数据收集阶段不需要太大的计算资源,而在对数据进行统计分析时需要快速地聚集超大的计算能力。

大数据的特征与挑战

虽然“大数据”一词非常流行,但是其定义仍未统一。来自维基百科的定义为:大数据指数量巨大、类型复杂的数据集合,现有的数据库管理工具或传统的数据处理应用难以对其进行处理。这些挑战包括

如捕获、收集、存储、搜索、共享、传递、分析与可视化等…。著名的咨询公司Gartner给出的定义是:大数据是海量、高增长和多样化的信息资产,可用于增强

洞察力、改进决策,但需要新的、更划算的信息处理模

斗『2]武。。o

图3

运行在OpenStack之上的Hadoop

综合网络上对大数据的描述,多数定义都提到了

3个维度,分别是数量(Volume)、多样性(Variety)和速度(Velocity),简称3V。在这3V之外,著名的IBM公司提出了关于精确性(Veracity)的第4V,强调应对与管理某些类型数据中固有的不确定性的重要性;而国际数据公司(International

Data

基于此种认识,本文设计了一个基于开源技术

Hadoop和OpenStack的大数据实验研究平台,见图3。Hadoop是一个开源的分布式软件框架,它的核心模块HDFS和MapReduce可以实现分布式文件存储与计算。

OpenStack是一个开源的云计算平台,它可以实现类

似亚马逊EC2和S3的基础设施级服务。OpenStack

Corporation,IDC)认

为大数据还应当具有价值性(Value)的第4V,强调海量数据中蕴涵着重要的价值p11。

海量指大数据项目需要存储和计算的数据集规

模特别巨大,这应当是大数据被称为“大”的主要原

主要由5部分组成:Nova(控制器)、Swift(存储服务)、Glance(镜像服务)、Keystone(身份认证)和Ho—

rizon(WebUI)。在大数据实验研究平台中,Hadoop的众多NameNode被部署在OpenStack管理的虚拟机上,NameNode(包括TaskTracker在内)所需OS及程序镜像被保存在OpenStack的Glance服务器中。当

因;另外此类数据集还处于高速增长的状态,从而导

致传统的数据库管理技术难以在合理的时问内完成

上一页第2页

你可能喜欢

热门文档

相关文档

  • 大数据处理技术与探索_肖飞

    2013 年第 9 期 2475 ( 2013 ) 09007503 文章编号: 1006- 计算机与现代化 JISUANJI YU XIANDAIHUA 总第 217 期 大数据处理技术与探索肖 飞, 齐立磊 ( 南阳...

  • 大数据处理技术探索_肖飞_齐立磊

    大数据处理技术探索_肖飞_齐立磊 隐藏>> 网络出版时间:2013-09-18 13:27 网络出版地址:http://www.cnki.net/kcms/detail/36.1137.TP.20130918.1327.201309...

  • 大数据处理技术研究

    5 4. 大数据技术的发展: ... 5 5. 大数据技术组成: ... 8 5.1 分析技术 ... 8 5.1.1 可视化分析 ... 9 5.1.2 数据...

  • 高并发下的大数据处理架构探索与实践

    高并发下的大数据处理架构探索与实践_互联网_IT/计算机_专业资料。网 络 技 术 《电信网技术》 2013 年 7 月第 7 期 高并发下的大数据处理架构探索与实践...

  • 大数据下的智能数据分析技术研究

    同时对 新的大数据分析方案Hadoop进行了梳理,提出了未来大数据智能分析技术的发展... Teradat a天睿公司推出的TeradataAster大数据探索平台(TeradataAsterDiscoveryPlat...

  • 公安大数据处理平台的探索

    2014 年第 3 期 广东公安科技 总第 117 期 公安大数据处理平台的探索吕益民...而另外 3 项关键 技术创新工程, 包括信息感知技术、 信息传 的研究和应用已...

  • 大数据研究的技术层面和主要研究内容

    (Big Data Initiative),拟投入2亿 美元用于研究开发科 学探索、环境和生物 医学、教育和国家安 全等重大领域和行业 所急需的大数据处理 技术和工具,把大数 据...

  • 大数据技术的应用

    重 点攻克分布式虚拟存储技术,大数据获取、存储、组织、分析和决策操作的可视 化... 聚类分析(系统聚类、动态聚类等)、探索性分析(主元分析法、相关分析法等) 等...

  • 大数据技术 导论 2014

    大数据技术 导论 2014_计算机软件及应用_IT/计算机...PB级 ? 快速处理(velocity):快速数据流转和动态数据...深空探索 深海探测 深网挖掘 实现大数据价值的 ...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email