博客资料
Google网站架构分析
2009年5月3日 分享: 发表评论 阅读评论
Google是可伸缩性之王。每个人都知道Google是因为他们对大量,复杂信息的快速搜索,但是Google的技术并不只是在搜索领域闪闪发光。他们构建大型应用的平台方式能够让他们以惊人的竞争速度在网络规模应用上面大展拳脚。Google的目标一直是构建更高性能更高规模基础设施来支持他们的产品。他们怎么做到的呢?
参考资料以及信息来源
视频:在Google上构建大型系统 (Video: Building Large Systems at Google)
Google实验室:Google文件系统 (Google Lab: The Google File System)
Google实验室:MapReduce:在大规模集群上简化数据处理 (Google Lab: MapReduce: Simplified Data Processing on Large Clusters)
Google实验室:BigTable: (Google Lab: BigTable.)
视频:BigTable: 一个分布式的结构化存储系统 (Video: BigTable: A Distributed Structured Storage System.)
Google实验室:松散耦合的分布式系统的 Chubby Lock服务 (Google Lab: The Chubby Lock Service for Loosely-Coupled Distributed Systems.)
Google是如何工作的 作者 David Carr发表于Baseline杂志 (How Google Works by David Carr in Baseline Magazine.)
Google实验室:翻译数据:使用Sawzall并行分析(Google Lab: Interpreting the Data: Parallel Analysis with Sawzall.)
可伸缩性大会上Dare Obasonjo的笔记 (Dare Obasonjo’s Notes on the scalability conference.)
平台
? Linux
? 多种不同的语言: Python, Java, C++
数据揭秘
目前的情形:
? 2006年估计有450,000个价格便宜的商用服务器
? 2005年Google索引了80亿的web页面。到现在为止有多少,已经无法统计出来了。
? 目前Google有超过200GFS的集群。一个集群能有1000甚至5000个机器。成百上千的机器从运行大到5peta字节存储的GFS集群检索数据。通过集群的总的读写吞吐量达到每秒400亿字节。
? 目前在Google有6000个 MapReduce应用,并且每个月有几百个新的应用正在出现。
架构的层次
Google把他们的基础设施架构描述为三个层次栈:
? 产品:检索,广告,电子邮件,地图,视频,聊天,博客
? 分布式系统基础设施:GFS, MapReduce, 以及BigTable。
? 计算平台:很多不同数据中心的很多机器
? 确保公司员工容易低成本配置。
? 看看每个应用基线的价格性能数据。把更多的钱花在硬件上以期不丢失日志数据,但是在其他类型的数据上花少一点。既然这样处理,实际上他们就不会丢数据。
使用GFS(Google文件系统)的可靠存储机制
? 可靠的可伸缩存储是任何应用的一个核心需要。GFS就是他们的核心存储平台。
? Google文件系统- 大的分布式日志结构化文件系统,里面有大量数据
? 为什么不用其他的而非要构建一个文件系统呢?因为他们需要控制所
GoogleChrome浏览器架构解析_计算机硬件及网络_IT/计算机_专业资料。Google ...html 网站自我检测 http://www.google.com/safebrowsing/diagnostic?site=http:/...
Analytics(谷歌分析 谷歌分析) Google Analytics(谷歌分析) 架构与原理 Google Analytics(Google 分析)是 Google 的一款免费的网站分析服务, Google Analytics 最早是...
实践与经验 Google 体系结构分析胡 波 (盐城工学院信息工程学院, 盐城 224051 ...Google 管理 PC 的方式是: 所有的 PC 和以太网交换机都放在服务器架上;每 ...
网站结构分析_经管营销_专业资料。网站结构分析大家一致注意到以下问题: 1.大量...Google 要 退出中国市场”,一件件、一桩桩,但,无论怎样整个互联网还是在运作着...
YouTube网站技术架构分析_互联网_IT/计算机_专业资料。对YouTube网站技术架构的详细分析(包括被Google收购前和收购后的架构)。1 YouTube 网站架构文/Todd Hoff 译/...
刘文基 柯慧坤 冯源 李天慧 李仕涛 陈迪辉 小组成员 Google外部环境分析宏观...产业环境分析(产业结构)产业集中度 中国互联网产业行业集中度最高接近100% 规模...
Google文化、组织结构等大揭密_互联网_IT/计算机_专业资料。Google文化、组织...Susquehanna 金融 (Susquehanna Financial Group)分析师玛丽安·沃尔克(Marianne Wolk...
网站SEO结构分析报告书_互联网_IT/计算机_专业资料。网站SEO结构分析报告书... c) 是否装有数据分析工具(如 Google Analytics) ; d) 是否有使用谷歌网站...
网站架构完整方案 30页 免费 大型WEB网站架构深入分析... 12页 免费 电子...解决方案是数据散列和分区视图的概念,具体概念大家去 google 一下,我不详细说明...
二、Google 的整体技术构架说明 由于 Google 中 没有官方发布一个自身的技术构架说明。本文主要的信息都来自互联网 对于 Google 网络技术构架的分析,大量信息来自 ...
热门文档