大数据系统和分析技术
软件学报ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn
Journal of Software,2014,25(9):1889 1908 [doi: 10.13328/j.cnki.jos.004674] doc.guandang.net
©中国科学院软件研究所版权所有. Tel/Fax: +86-10-62562563
大数据系统和分析技术综述
程学旗, 靳小龙, 王元卓, 郭嘉丰, 张铁赢, 李国杰
(中国科学院 计算技术研究所 网络数据科学与技术重点实验室,北京 100190)
通讯作者: 靳小龙, E-mail: jinxiaolong@ict.ac.cn
摘 要: 首先根据处理形式的不同,介绍了不同形式数据的特征和各自的典型应用场景以及相应的代表性处理系
统,总结了大数据处理系统的三大发展趋势;随后,对系统支撑下的大数据分析技术和应用(包括深度学习、知识计
算、社会计算与可视化等)进行了简要综述,总结了各种技术在大数据分析理解过程中的关键作用;最后梳理了大数
据处理和分析面临的数据复杂性、计算复杂性和系统复杂性挑战,并逐一提出了可能的应对之策.
关键词: 大数据;数据分析;深度学习;知识计算;社会计算;可视化
中图法分类号: TP301 中文引用格式: 程学旗,靳小龙,王元卓,郭嘉丰,张铁赢,李国杰.大数据系统和分析技术综述.软件学报,2014,25(9):1889 1908.
doc.guandang.net
英文引用格式: Cheng XQ, Jin XL, Wang YZ, GUO JF, Zhang TY, Li GJ. Survey on big data system and analytic technology.
Ruan Jian Xue Bao/Journal of Software, 2014,25(9):1240 1252 (in Chinese). doc.guandang.net. htm
Survey on Big Data System and Analytic Technology
CHENG Xue-Qi, JIN Xiao-Long, WANG Yuan-Zhuo, GUO Jia-Feng, ZHANG Tie-Ying, LI Guo-Jie
(Key Laboratory of Network Data Science and Technology, Institute of Computing Technology, The Chinese Academy of Sciences,
Beijing 100190, China)
Corresponding author: JIN Xiao-Long, E-mail: jinxiaolong@ict.ac.cn
Abstract: This paper first introduces the key features of big data in different processing modes and their typical application scenarios,
as well as corresponding representative processing systems. It then summarizes three development trends of big data processing systems.
Next, the paper gives a brief survey on system supported analytic technologies and applications (including deep learning, knowledge
computing, social computing, and visualization), and summarizes the key roles of individual technologies in big data analysis and
understanding. Finally, the paper lays out three grand challenges of big data processing and analysis, i.e., data complexity, computation
complexity, and system complexity. Potential ways for dealing with each complexity are also discussed.
Key words: dig data; data analysis; deep learning; knowledge computing; social computing; visualization
近几年,大数据迅速发展成为科技界和企业界甚至世界各国政府关注的热点.《Nature》和《Science》等相
继出版专刊专门探讨大数据带来的机遇和挑战.著名管理咨询公司麦肯锡称:“数据已经渗透到当今每一个行业
和业务职能领域,成为重要的生产因素.人们对于大数据的挖掘和运用,预示着新一波生产力增长和消费盈余浪
潮的到来”[1].美国政府认为大数据是“未来的新石油”,一个国家拥有数据的规模和运用数据的能力将成为综合
国力的重要组成部分,对数据的占有和控制将成为国家间和企业间新的争夺焦点.大数据已成为社会各界关注
的新焦点,“大数据时代”已然来临.
什么是大数据,迄今并没有公认的定义.从宏观世界角度来讲,大数据是融合物理世界(physical world)、信息
空间和人类社会(human society)三元世界的纽带,因为物理世界通过互联网、物联网等技术有了在信息空间
基金项目: 国家重点基础研究发展计划(973)(2014CB340401, 2012CB316303); 国家自然科学基金(61232010, 61100175,
61173008, 61202214); 北京市科技新星计划(Z121101002512063)
收稿时间: 2014-05-09; 定稿时间: 2014-07-01
IBM WATSON 大数据与分析平台技术概述 2014年12月13日 李永辉 (Peter Lee) 杰出工程师 IBM大中华区系统与技术事业部 ? Copyright IBM Corporat...
大数据分析处理以及大数据平台相关技术进行了研究和综述,最后,对大数据平台的研究...复杂系统 研制中往往要进行大量的试验和仿真,从而能够积累大量 的工程应用数据,...
大数据分析处理以及大数据平台相关技术进行了研究和综述,最后,对大数据平台的研究...复杂系统 研制中往往要进行大量的试验和仿真,从而能够积累大量 的工程应用数据,...
DNA序列数据分析技术综述_专业资料。DNA序列数据是一类重要的生物数据,也是DNA计算的基础数据.介绍了DNA序列数据特性,并对DNA序列分析技术的研究现状以及进展进行了...
市场决策 .当前 ,大数据分析方法论以及支撑技术的研究成 为大数据领域的核心...一幅图胜过千言万语.人类从外界获得的信息约有 80%以上来自于视觉系统[8,9]...
大数据技术研究综述_IT/计算机_专业资料。大数据...关键词:大数据,云计算,数据分析 1 大数据产生的...件系统和分布式并行数据库,如 HDFS 、 BigTable 等...
现代数据中心网络资源管理技术分析与综述_互联网_IT/计算机_专业资料。第35卷第 2期 201 4年 2月 通 信 学 报 、,01l35 No.2 February 2014 Jou ...
本文在现有的大规模RDF存储系统的基础上,对大 规模的RDF数据存储技术进行了分析和综述。 2语义网和RDF万维网创始人TimBerners—Lee于2001年提出的关于下一代互联网...
数据挖掘技术综述王桂芹 黄道华东理工大学信息科学与...从统计分析类的角度来说,统计分析技术中使用的数据...大量的数据,这些数据一般存储在数据库系统中,长期...
综述-——基于模式识别的大数据集的数据分析求解_...谁占据信息 技术优势,谁就会最大限度地存储、挖掘和...是一个开放源码的分布式数据处理系统架构,主要面向...
热门文档