不断增长中。
目前在Google有超过500个GFS集群。一个集群可以有1000或者甚至5000台机器。成千上万的机器从运行着5000000000000000字节存储的GFS集群获取数据,集群总的读写吞吐量可以达到每秒40兆字节
目前在Google有6000个MapReduce程序,而且每个月都写成百个新程序
BigTable伸缩存储几十亿的URL,几百千千兆的卫星图片和几亿用户的参数选择 堆栈
Google形象化它们的基础组织为三层架构:
1,产品:搜索,广告,email,地图,视频,聊天,博客
2,分布式系统基础组织:GFS,MapReduce和BigTable
3,计算平台:一群不同的数据中心里的机器
4,确保公司里的人们部署起来开销很小
5,花费更多的钱在避免丢失日志数据的硬件上,其他类型的数据则花费较少 可信赖的存储机制GFS(Google File System)
1,可信赖的伸缩性存储是任何程序的核心需求。GFS就是Google的核心存储平台 2,Google File System – 大型分布式结构化日志文件系统,Google在里面扔了大量的数据
3,为什么构建GFS而不是利用已有的东西?因为可以自己控制一切并且这个平台与别的不一样,Google需要:
-跨数据中心的高可靠性
-成千上万的网络节点的伸缩性
-大读写带宽的需求
-支持大块的数据,可能为上千兆字节
-高效的跨节点操作分发来减少瓶颈
4,系统有Master和Chunk服务器
-Master服务器在不同的数据文件里保持元数据。数据以64MB为单位存储在文件系统中。客户端与Master服务器交流来在文件上做元数据操作并且找到包含用户需要数据的那些Chunk服务器
-Chunk服务器在硬盘上存储实际数据。每个Chunk服务器跨越3个不同的Chunk服务器备份以创建冗余来避免服务器崩溃。一旦被Master服务器指明,客户端程序就会直接从Chunk服务器读取文件
6,一个上线的新程序可以使用已有的GFS集群或者可以制作自己的GFS集群 7,关键点在于有足够的基础组织来让人们对自己的程序有所选择,GFS可以调整来适应个别程序的需求
使用MapReduce来处理数据
1,现在你已经有了一个很好的存储系统,你该怎样处理如此多的数据呢?比如你有
图 1 给出了 Google File System 的系统架构,一个 GFS 集群包含一个主服务器和多个块服务器,被 多个客户端访问。文件被分割成固定尺寸的块。在每个块创建的...
云计算Google的技术构架_IT/计算机_专业资料。云计算 Google 的技术构架一、...就需要大量的计算机服务器。 为了满足不断增长的计算需求。Google 很早就进行了...
Google架构_计算机硬件及网络_IT/计算机_专业资料。Google 是伸缩性的王者。...当一个 Tablet 服务器失败时,则 100 个 Tablet 服务器各自挑选一个新的 ...
Google网站架构分析 2009年5月3日 分享: 发表评论 阅读评论 Google是可伸缩性...这样做是因为服务器不受CPU约束,花时间在数据的压缩和解压缩上还是有意义的,...
Google桌面企业版架设SOP(Google桌面企业版架构,文件备份服务器架构)_IT/计算机_专业资料。Google 桌面企业版架设 SOP (附上文件备份服务器架构, Google 桌面企业...
Google架构介绍_互联网_IT/计算机_专业资料。Google 系统架构在伸缩性上可以说...? ? 在 2006 年大约有 450,000 台廉价服务器; 在 2005 年 Google 索引了...
谷歌 Web 服务背后的 IT 架构对无数使用搜索引擎的用户来说也许并 不是非常...据说谷歌在 65 个数据中心拥有 20 万~45 万台服务器—这个数目会 有偏差(...
龙源期刊网 http://www.qikan.com.cn Google 搜索引擎架构研究 作者:陈丽 来源:《中国科技纵横》2013 年第 02 期 【摘要】 Google 做为世界上最成功的网络...
Google搜索引擎架构研究_互联网_IT/计算机_专业资料。Google 搜索引擎架构研究 【摘要】 Google 做为世界上最成功的网络公司之一,以其巨大,快速的 搜索引擎而著名...
Google 集群架构为了能够支持可扩展的并行化,google 的网络搜索应用让不同的查询...因为 google 服务器是专门定制的,我们可以使用基于 pc 的服务器机柜价格做一...
热门文档