许多TB的数据存储在1000台机器上。数据库不能伸缩或者伸缩到这种级别花费极大,这就是MapReduce出现的原因
2,MapReduce是一个处理和生成大量数据集的编程模型和相关实现。用户指定一个map方法来处理一个键/值对来生成一个中间的键/值对,还有一个reduce方法来合并所有关联到同样的中间键的中间值。许多真实世界的任务都可以使用这种模型来表现。以这种风格来写的程序会自动并行的在一个大量机器的集群里运行。运行时系统照顾输入数据划分、程序在机器集之间执行的调度、机器失败处理和必需的内部机器交流等细节。这允许程序员没有多少并行和分布式系统的经验就可以很容易使用一个大型分布式系统资源
3,为什么使用MapReduce?
-跨越大量机器分割任务的好方式
-处理机器失败
-可以与不同类型的程序工作,例如搜索和广告。几乎任何程序都有map和reduce类型的操作。你可以预先计算有用的数据、查询字数统计、对TB的数据排序等等 4,MapReduce系统有三种不同类型的服务器
-Master服务器分配用户任务到Map和Reduce服务器。它也跟踪任务的状态 -Map服务器接收用户输入并在其基础上处理map操作。结果写入中间文件 -Reduce服务器接收Map服务器产生的中间文件并在其基础上处理reduce操作 5,例如,你想在所有Web页面里的字数。你将存储在GFS里的所有页面抛入MapReduce。这将在成千上万台机器上同时进行并且所有的调整、工作调度、失败处理和数据传输将自动完成
-步骤类似于:GFS -> Map -> Shuffle -> Reduction -> Store Results back into GFS -在MapReduce里一个map操作将一些数据映射到另一个中,产生一个键值对,在我们的例子里就是字和字数
-Shuffling操作聚集键类型
-Reduction操作计算所有键值对的综合并产生最终的结果
6,Google索引操作管道有大约20个不同的map和reduction。
7,程序可以非常小,如20到50行代码
8,一个问题是掉队者。掉队者是一个比其他程序慢的计算,它阻塞了其他程序。掉队者可能因为缓慢的IO或者临时的CPU不能使用而发生。解决方案是运行多个同样的计算并且当一个完成后杀死所有其他的
9,数据在Map和Reduce服务器之间传输时被压缩了。这可以节省带宽和I/O。 在BigTable里存储结构化数据
1,BigTable是一个大伸缩性、错误容忍、自管理的系统,它包含千千兆的内存和1000000000000000的存储。它可以每秒钟处理百万的读写
2,BigTable是一个构建于GFS之上的分布式哈希机制。它不是关系型数据库。它不支持join或者SQL类型查询
图 1 给出了 Google File System 的系统架构,一个 GFS 集群包含一个主服务器和多个块服务器,被 多个客户端访问。文件被分割成固定尺寸的块。在每个块创建的...
云计算Google的技术构架_IT/计算机_专业资料。云计算 Google 的技术构架一、...就需要大量的计算机服务器。 为了满足不断增长的计算需求。Google 很早就进行了...
Google架构_计算机硬件及网络_IT/计算机_专业资料。Google 是伸缩性的王者。...当一个 Tablet 服务器失败时,则 100 个 Tablet 服务器各自挑选一个新的 ...
Google网站架构分析 2009年5月3日 分享: 发表评论 阅读评论 Google是可伸缩性...这样做是因为服务器不受CPU约束,花时间在数据的压缩和解压缩上还是有意义的,...
Google桌面企业版架设SOP(Google桌面企业版架构,文件备份服务器架构)_IT/计算机_专业资料。Google 桌面企业版架设 SOP (附上文件备份服务器架构, Google 桌面企业...
Google架构介绍_互联网_IT/计算机_专业资料。Google 系统架构在伸缩性上可以说...? ? 在 2006 年大约有 450,000 台廉价服务器; 在 2005 年 Google 索引了...
谷歌 Web 服务背后的 IT 架构对无数使用搜索引擎的用户来说也许并 不是非常...据说谷歌在 65 个数据中心拥有 20 万~45 万台服务器—这个数目会 有偏差(...
龙源期刊网 http://www.qikan.com.cn Google 搜索引擎架构研究 作者:陈丽 来源:《中国科技纵横》2013 年第 02 期 【摘要】 Google 做为世界上最成功的网络...
Google搜索引擎架构研究_互联网_IT/计算机_专业资料。Google 搜索引擎架构研究 【摘要】 Google 做为世界上最成功的网络公司之一,以其巨大,快速的 搜索引擎而著名...
Google 集群架构为了能够支持可扩展的并行化,google 的网络搜索应用让不同的查询...因为 google 服务器是专门定制的,我们可以使用基于 pc 的服务器机柜价格做一...
热门文档