文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 互联网 > Google架构介绍
侵权投诉

Google架构介绍

Google系统架构在伸缩性上可以说称王了,Google一直的目标就是构建高性能高伸缩性的基础组织来支持它们的产品。

平台

Linux

使用大量开发语言:Python,Java,C++

状态

在2006年大约有450,000台廉价服务器; 在2005年Google索引了80亿Web页面,现在没有人知道数目; 目前在Google有超过200个GFS集群。一个集群可以有1000或者甚至5000台机器。成千

上万的机器从运行着5000000000000000字节存储的GFS集群获取数据,集群总的读写吞吐量可以达到每秒40兆字节;

目前在Google有6000个MapReduce程序,而且每个月都写成百个新程序; BigTable伸缩存储几十亿的URL,几百千千兆的卫星图片和几亿用户的参数选择; 堆栈

Google形象化它们的基础组织为三层架构:

1、产品:搜索,广告,email,地图,视频,聊天,博客;

2、分布式系统基础组织:GFS,MapReduce和BigTable;

3、计算平台:一群不同的数据中心里的机器;

4、确保公司里的人们部署起来开销很小;

5、花费更多的钱在避免丢失日志数据的硬件上,其他类型的数据则花费较少;

可信赖的存储机制-谷歌文件系统GFS(Google File System)

1、可信赖的伸缩性存储是任何程序的核心需求,谷歌文件系统GFS就是Google的核心存储平台;

2、Google File System - 大型分布式结构化日志文件系统,Google在里面扔了大量的数据;

3、为什么构建GFS而不是利用已有的东西?因为可以自己控制一切并且这个平台与别的不一样,Google需要:

-跨数据中心的高可靠性;

-成千上万的网络节点的伸缩性;

-大读写带宽的需求;

-支持大块的数据,可能为上千兆字节;

-高效的跨节点操作分发来减少瓶颈;

4、系统有Master和Chunk服务器

-Master服务器在不同的数据文件里保持元数据。数据以64MB为单位存储在文件系统中。客户端与Master服务器交流来在文件上做元数据操作并且找到包含用户需要数据的那些Chunk服务器;

第1页

热门文档

相关文档

  • google的组织结构

    google的组织结构_社会学_人文社科_专业资料。选填,简要介绍文档的主要内容,方便文档被更多人浏览和下载。google 的组织结构文.施密特 Google 是一个由创新人才组成...

  • google介绍

    9页 10财富值 Google code介绍 13页 2财富值 Google企业介绍 98页 免费 Google架构介绍 4页 2财富值 Google广告介绍 2页 5财富值 Google公司介绍 18页 免费...

  • google网络架构简介

    google网络架构简介_广告/传媒_人文社科_专业资料。Google 全球数据中心与谷歌... Google架构介绍 4页 1下载券 Google 系统架构之道 6页 免费 网络架构 33页...

  • Google网站架构分析

    Google网站架构分析 2009年5月3日 分享: 发表评论 阅读评论 Google是可伸缩性... 构建基于LAMP的中型网站... 29页 免费 淘宝技术架构介绍_V3 50页 1下载券...

  • Google架构

    Google架构_计算机硬件及网络_IT/计算机_专业资料。Google 是伸缩性的王者。Google 一直的目标就是构建高性能高伸缩性的基础组织来支持它们的产品。 平台 Linux ...

  • 云计算Google的技术构架

    云计算Google的技术构架_IT/计算机_专业资料。云计算 Google 的技术构架一、...2、Google 内部网络架构介绍 Google 自己已经建设了跨国的光纤网络,连接跨地区、...

  • Google搜索引擎架构研究

    Google搜索引擎架构研究_专业资料。Google 搜索引擎架构研究 【摘要】 google 做...本文简要 介绍的 google 的主要后台架构 gfs,mapreduce 和 bigtable。 【关键...

  • Google搜索引擎架构研究

    但很少有人了解能了解如何将数万台 PC 组织成为一个强大的,可靠的,可扩展的分布式 系统。本文简要介绍的 Google 的主要后台架构 GFS,MapR...

  • Google搜索引擎架构研究

    Google搜索引擎架构研究_互联网_IT/计算机_专业资料。Google 搜索引擎架构研究 ...本文简要介绍的 Google 的主要后台架构 GFS, MapReduce 和 BigTable。 【关键...

  • Google文化、组织结构等大揭密

    Google文化、组织结构等大揭密_互联网_IT/计算机_专业资料。Google文化、组织...他们更擅长的是写下每日工作相关的简短介绍或是代码片断。 这些内容会定期和小组...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email