文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 互联网 > google服务器架构
侵权投诉

google服务器架构

很快,我们就有了疑问。这样的一个以PC级别服务器搭建起来的系统,怎么能承受巨大的工作负载呢?怎么能保证高可用性呢?的确,这些低端的服务器经常出现故障——硬盘坏道、系统宕机这类的事故其实每天都在45万台服务器中发生。而Google的方法是设立镜像站。以Google主站为例,2003年就在美国硅谷和弗吉尼亚设立了多个镜像站。这些镜像站其实不是传统的镜像站。真正的镜像站是双机热备,当一台服务器宕机时,另一台服务器接管相关任务。而Google的镜像站其实真正的职责是DNS负载均衡,所以有的Google镜像站本身还有自己的镜像站。这里举例说明Google镜像站的作用:一个访问,DNS正常解析到A处,但当A处负载过大时,DNS服务就将域名解析到B处,这样既达到了冗余,也缩减了投资。由于不是双机热备,某一时间,镜像站的内容可能略有不同,不过对于精确度要求不那么高的普通检索而言,并不是问题。

平台:GFS/MapReduce/ BigTable/Linux

GFS/MapReduce/ BigTable/这三个平台,是Google最引以为傲的平台,全部架构在Linux之上。

首先我们来看一看GFS(Google File System)Google文件系统。我们知道,一般的数据中心检索时候需要用到数据库系统。但是Google的情况很特殊——Google拥有全球上百亿个Web文档,如果用常规数据库系统检索,那么检索速度就可想而知了。因此,当Crawlers采集到许多新的Web后,Google将很多的Web都汇集到一个文件里进行存储管理,而且Google将Web文件压缩成Chunk块,进一步减少占用空间(64MB一个chunk)。最后,Google只检索压缩后的部分。而GFS(Google File System)正是在这样的检索技术上构建的文件系统,GFS包括了GFS Master服务器和Chunk服务器。如下图所示,系统的流程从GFS客户端开始:GFS客户端以chunk偏移量制作目录索引并且发送请求——GFS Master收到请求通过chunk映射表映射反馈客户端——客户端有了chunk handle和chunk 位置,并将文件名和chunk的目录索引缓存,向chunk服务器发送请求——chunk服务器回复请求传输chunk数据。

如果读者您读着有点迷糊,这很正常,因为只有少数搜索引擎企业才采用这样的技术。简单来说是这样:Google运用GFS大大简化了检索的难度。

除了GFS,MapReduce对Google也是功不可没。Google拥有不少于45万台服务器,看起来每台服务器的职能都非常明确,但是其中却有重要的协同问题有待解决:如何并发计算,如何分布数据,如何处理失败,如何负载均衡?我们可以预见,无数的代码将被用在协同问题上,而且很可能效率低下。这时候,MapReduce就派上用场了。MapReduce是Google开发的C++编程工具,用于大规模数据集的并行运算。MapReduce主要功能是提供了一个简单强大的接口,可以将计算自动的并发和

上一页第2页

你可能喜欢

  • 互联网流量
  • 网站服务器架构
  • 游戏服务器架构
  • 服务器架构方案
  • 服务器架构设计

热门文档

相关文档

  • 各公司服务器架构

    图 1 给出了 Google File System 的系统架构,一个 GFS 集群包含一个主服务器和多个块服务器,被 多个客户端访问。文件被分割成固定尺寸的块。在每个块创建的...

  • 云计算Google的技术构架

    云计算Google的技术构架_IT/计算机_专业资料。云计算 Google 的技术构架一、...就需要大量的计算机服务器。 为了满足不断增长的计算需求。Google 很早就进行了...

  • Google架构

    Google架构_计算机硬件及网络_IT/计算机_专业资料。Google 是伸缩性的王者。...当一个 Tablet 服务器失败时,则 100 个 Tablet 服务器各自挑选一个新的 ...

  • Google网站架构分析

    Google网站架构分析 2009年5月3日 分享: 发表评论 阅读评论 Google是可伸缩性...这样做是因为服务器不受CPU约束,花时间在数据的压缩和解压缩上还是有意义的,...

  • Google桌面企业版架设SOP(Google桌面企业版架构,文件备...

    Google桌面企业版架设SOP(Google桌面企业版架构,文件备份服务器架构)_IT/计算机_专业资料。Google 桌面企业版架设 SOP (附上文件备份服务器架构, Google 桌面企业...

  • Google架构介绍

    Google架构介绍_互联网_IT/计算机_专业资料。Google 系统架构在伸缩性上可以说...? ? 在 2006 年大约有 450,000 台廉价服务器; 在 2005 年 Google 索引了...

  • Google文化、组织结构等大揭密

    谷歌 Web 服务背后的 IT 架构对无数使用搜索引擎的用户来说也许并 不是非常...据说谷歌在 65 个数据中心拥有 20 万~45 万台服务器—这个数目会 有偏差(...

  • Google搜索引擎架构研究

    龙源期刊网 http://www.qikan.com.cn Google 搜索引擎架构研究 作者:陈丽 来源:《中国科技纵横》2013 年第 02 期 【摘要】 Google 做为世界上最成功的网络...

  • Google搜索引擎架构研究

    Google搜索引擎架构研究_互联网_IT/计算机_专业资料。Google 搜索引擎架构研究 【摘要】 Google 做为世界上最成功的网络公司之一,以其巨大,快速的 搜索引擎而著名...

  • Google集群架构

    Google 集群架构为了能够支持可扩展的并行化,google 的网络搜索应用让不同的查询...因为 google 服务器是专门定制的,我们可以使用基于 pc 的服务器机柜价格做一...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email