还有很多易并行问题(Embarrassingly Parallel),计算可以分解成完全独立的部分,或者很简单地就能改造出分布式算法,比如大规模脸部识别、图形渲染等,这样的问题自然是使用并行处理集群比较适合。
而大多数统计分析,机器学习问题可以用MapReduce算法改写。MapReduce目前最擅长的计算领域有流量统计、推荐引擎、趋势分析、用户行为分析、数据挖掘分类器、分布式索引等。

图2 RCFile的行列混合存
面对大数据OLAP分析的一些问题
OLAP分析需要进行大量的数据分组和表间关联,而这些显然不是NoSQL和传统数据库的强项,往往必须使用特定的针对BI优化的数据库。比如绝大多数针对BI优化的数据库采用了列存储或混合存储、压缩、延迟加载、对存储数据块的预统计、分片索引等技术。
Hadoop平台上的OLAP分析,同样存在这个问题,Facebook针对Hive开发的RCFile数据格式,就是采用了上述的一些优化技术,从而达到了较好的数据分析性能。如图2所示。
然而,对于Hadoop平台来说,单单通过使用Hive模仿出SQL,对于数据分析来说远远不够,首先Hive虽然将HiveQL翻译MapReduce的时候进行了优化,但依然效率低下。多维分析时依然要做事实表和维度表的关联,维度一多性能必然大幅下降。其次,RCFile的行列混合存储模式,事实上限制死了数据格式,也就是说数据格式是针对特定分析预先设计好的,一旦分析的业务模型有所改动,海量数据转换格式的代价是极其巨大的。最后,HiveQL对OLAP业务分析人员依然是非常不友善的,维度和度量才是直接针对业务人员的分析语言。
而且目前OLAP存在的最大问题是:业务灵活多变,必然导致业务模型随之经常发生变化,而业务维度和度量一旦发生变化,技术人员需要把整个Cube(多维立方体)重新定义并重新生成,业务人员只能在此Cube上进行多维分析,这样就限制了业务人员快速改变问题分析的角度,从而使所谓的BI系统成为死板的日常报表系统。
暂无评价0人阅读0次下载举报文档 大数据分析系统架构之探讨_计算机软件及应用_IT/计算机_专业资料。本文通过对大数据分析的一些平台,工具,组件的简单认识,并根...
() 文章编号 :56400210012014020100--- 基于大数据技术的学习分析系统架构2 31冯 翔1, 余明华 , 马晓玲 , 吴永和 (00062;1.华东师范大学 上海数字化教育装备...
大数据分析平台 ? 产品技术架构 ? 典型行业应用案例 -技术基础研究方向 技术基础研究方向研究方向 关键任务 制高点 1)基于内存计算的机器学习算法 2)行业大数据深度...
多图技术贴:深入浅出解析大数据平台架构_计算机软件及应用_IT/计算机_专业资料。...应用三离线日志分析 应用五在线数据分析 参考资料:京东基于 Samza 的流式计算...
大数据的系统架构支持_互联网_IT/计算机_专业资料。大数据的系统架构支持 @林仕鼎...持续优化 数据智能快速开发 开发框架 验证 数据分析 测试 部署运维 应用引擎 ...
teradata 统一数据架构为用户带来无限的数据分析灵活性_互联网_IT/计算机_专业资料...借助大数据分析方面的出色优势,Teradata 的集成数据仓库平台 可针对商业智能提供...
算的大数据统一分析平台进行了详尽的研究与设计,包括大数据分析平台的架构体 系、大数据分析平台的软件架构、大数据分析平台的网络架构、大数据统一分析平 台的方案...
大数据平台架构的思考_计算机软件及应用_IT/计算机_专业资料。 今日...大数据下的数据分析平台... 5页 免费 ClickV平台架构-数据构成... 暂无评价...
结合大数据研究和应用现状,提出了大数据平台的体系架构,并对平台应用模式、大数 据应用标准、大数据存储、大数据分析处理以及大数据平台相关技术进行了研究和综述,...
基于P2P 可伸缩架构的 大数据分析平台研究与实现 (申请清华大学工程硕士专业学位论文 ) 培养单位: 软件学院 工程领域 :申 软件工程 安教授 请人:卓 指导教师 :...
热门文档