这里的内存级别指的是数据量不超过集群的内存最大值。不要小看今天内存的容量,
Facebook缓存在内存的Memcached中的数据高达320TB,而目前的PC服务器,内存也可以超过百GB。因此可以采用一些内存数据库,将热点数据常驻内存之中,从而取得非常快速的分析能力,非常适合实时分析业务。图1是一种实际可行的MongoDB分析架构。

图1 用于实时分析的MongoDB架构
MongoDB大集群目前存在一些稳定性问题,会发生周期性的写堵塞和主从同步失效,但仍不失为一种潜力十足的可以用于高速数据分析的NoSQL。
此外,目前大多数服务厂商都已经推出了带4GB以上SSD的解决方案,利用内存+SSD,也可以轻易达到内存分析的性能。随着SSD的发展,内存数据分析必然能得到更加广泛的 应用。
BI级别指的是那些对于内存来说太大的数据量,但一般可以将其放入传统的BI产品和专门设计的BI数据库之中进行分析。目前主流的BI产品都有支持TB级以上的数据分析方案。种类繁多,就不具体列举了。
海量级别指的是对于数据库和BI产品已经完全失效或者成本过高的数据量。海量数据级别的优秀企业级产品也有很多,但基于软硬件的成本原因,目前大多数互联网企业采用Hadoop的HDFS分布式文件系统来存储数据,并使用MapReduce进行分析。本文稍后将主要介绍Hadoop上基于MapReduce的一个多维数据分析平台。
数据分析的算法复杂度
根据不同的业务需求,数据分析的算法也差异巨大,而数据分析的算法复杂度和架构是紧密关联的。举个例子,Redis是一个性能非常高的内存Key-Value NoSQL,它支持List和Set、SortedSet等简单集合,如果你的数据分析需求简单地通过排序,链表就可以解决,同时总的数据量不大于内存(准确地说是内存加上虚拟内存再除以2),那么无疑使用Redis会达到非常惊人的分析性能。
暂无评价0人阅读0次下载举报文档 大数据分析系统架构之探讨_计算机软件及应用_IT/计算机_专业资料。本文通过对大数据分析的一些平台,工具,组件的简单认识,并根...
() 文章编号 :56400210012014020100--- 基于大数据技术的学习分析系统架构2 31冯 翔1, 余明华 , 马晓玲 , 吴永和 (00062;1.华东师范大学 上海数字化教育装备...
大数据分析平台 ? 产品技术架构 ? 典型行业应用案例 -技术基础研究方向 技术基础研究方向研究方向 关键任务 制高点 1)基于内存计算的机器学习算法 2)行业大数据深度...
多图技术贴:深入浅出解析大数据平台架构_计算机软件及应用_IT/计算机_专业资料。...应用三离线日志分析 应用五在线数据分析 参考资料:京东基于 Samza 的流式计算...
大数据的系统架构支持_互联网_IT/计算机_专业资料。大数据的系统架构支持 @林仕鼎...持续优化 数据智能快速开发 开发框架 验证 数据分析 测试 部署运维 应用引擎 ...
teradata 统一数据架构为用户带来无限的数据分析灵活性_互联网_IT/计算机_专业资料...借助大数据分析方面的出色优势,Teradata 的集成数据仓库平台 可针对商业智能提供...
算的大数据统一分析平台进行了详尽的研究与设计,包括大数据分析平台的架构体 系、大数据分析平台的软件架构、大数据分析平台的网络架构、大数据统一分析平 台的方案...
大数据平台架构的思考_计算机软件及应用_IT/计算机_专业资料。 今日...大数据下的数据分析平台... 5页 免费 ClickV平台架构-数据构成... 暂无评价...
结合大数据研究和应用现状,提出了大数据平台的体系架构,并对平台应用模式、大数 据应用标准、大数据存储、大数据分析处理以及大数据平台相关技术进行了研究和综述,...
基于P2P 可伸缩架构的 大数据分析平台研究与实现 (申请清华大学工程硕士专业学位论文 ) 培养单位: 软件学院 工程领域 :申 软件工程 安教授 请人:卓 指导教师 :...
热门文档