文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > Google网站架构分析
侵权投诉

Google网站架构分析

博客资料

有的事情,而正是这个平台把他们和其他任何一个区分开来。他们需要:
- 通过数据中心的高可靠性
- 对于几千个网络节点的可伸缩性
- 大的读写带宽需求
- 支持十亿字节大的数据块
- 高效的通过节点减少瓶颈的分布式操作

? 系统有主服务器和分块服务器(chunk servers)
- 主服务器在各种数据文件上保存元数据。数据以64MB大的块存储在文件系统中。客户机和主服务器对话来操作文件里的元数据,定位包含了磁盘上他们需要的数据的分块服务器。
? 一个新的应用可以使用一个已经存在的GFS集群或者他们自己制作。去理解他们使用的通过数据中心的这个供应过程将是非常有趣的。
? 主键是足够的基础设施来确保人们对他们的应用有多种选择。可以调整GFS以适应个人应用需要。

使用MapReduce对数据做一些事情
? 既然你有了一个好的存储系统,你怎样使用如此多的数据呢?假如说你有很多TB的数据存储在1000台机器上。数据库不能扩展或者有效地扩展到这样的规模。这时就要用到MapReduce了。

? MapReduce是一个编程模型和用来处理和产生大规模数据集。用户指定一个映射函数处理一个键/值对来产生中间的键/值对集合,还指定一个缩小函数来合并所有的与同一中间键相关的中间值。

许多现实世界的任务在这个模型里被表示出来。用这个函数风格写的程序自动并行化并且在一大集群商务机器上执行。运行时系统关心分割输入数据的细节,通过一系列的机器安排程序的执行,处理机器事故,以及管理所需的机器内部通信。这使得没有任何并行和分布式系统经验的程序员能够容易地利用一个大的分布式系统的资源。

? 为什么使用MapReduce呢?
- 在大量机器上分割任务的极佳方式
- 处理机器故障
- 在不同类型的应用上工作,如搜索和广告。几乎每个应用都有映射简化类型之类的操作。你可以预计算有用的数据,统计字数,分类几TB的数据,等等。
- 计算可以自动地更加靠近IO源。

? MapReduce 系统有三个不同类型的服务器。
- 主服务器分配用户任务以映射和减少服务器。它也跟踪任务的状态。
- 映射服务器接收用户输入,在它们上面实行映射操作。结果写入中间文件。
- 化简服务器接收由映射服务器产生的中间文件并在它们上面实行化简操作。
? 例如,你想要统计所有网页中字符的个数。你可以把存储在GFS中的页面放入MapReduce。这些都将在1000秒内发生,包括机器同步和协调,任务安排,事故处理和数据传输将会自动完成。
- 步骤如下:GFS -> Map -> Shuffle -> Reduction -> 把结果存回GFS
- 在MapReduce 里,一个映射把一个视图映射到另一个,产生

上一页第2页

你可能喜欢

  • 大型网站架构
  • 系统架构概述
  • 淘宝技术
  • 淘宝平台
  • 技术架构
  • 云计算技术
  • 网站架构设计方案

热门文档

相关文档

  • GoogleChrome浏览器架构解析

    GoogleChrome浏览器架构解析_计算机硬件及网络_IT/计算机_专业资料。Google ...html 网站自我检测 http://www.google.com/safebrowsing/diagnostic?site=http:/...

  • Google Analytics(谷歌分析) 架构与原理

    Analytics(谷歌分析 谷歌分析) Google Analytics(谷歌分析) 架构与原理 Google Analytics(Google 分析)是 Google 的一款免费的网站分析服务, Google Analytics 最早是...

  • Google体系结构分析

    实践与经验 Google 体系结构分析胡 波 (盐城工学院信息工程学院, 盐城 224051 ...Google 管理 PC 的方式是: 所有的 PC 和以太网交换机都放在服务器架上;每 ...

  • 网站结构分析

    网站结构分析_经管营销_专业资料。网站结构分析大家一致注意到以下问题: 1.大量...Google 要 退出中国市场”,一件件、一桩桩,但,无论怎样整个互联网还是在运作着...

  • YouTube网站技术架构分析

    YouTube网站技术架构分析_互联网_IT/计算机_专业资料。对YouTube网站技术架构的详细分析(包括被Google收购前和收购后的架构)。1 YouTube 网站架构文/Todd Hoff 译/...

  • Google外部环境分析

    刘文基 柯慧坤 冯源 李天慧 李仕涛 陈迪辉 小组成员 Google外部环境分析宏观...产业环境分析(产业结构)产业集中度 中国互联网产业行业集中度最高接近100% 规模...

  • Google文化、组织结构等大揭密

    Google文化、组织结构等大揭密_互联网_IT/计算机_专业资料。Google文化、组织...Susquehanna 金融 (Susquehanna Financial Group)分析师玛丽安·沃尔克(Marianne Wolk...

  • 网站SEO结构分析报告书

    网站SEO结构分析报告书_互联网_IT/计算机_专业资料。网站SEO结构分析报告书... c) 是否装有数据分析工具(如 Google Analytics) ; d) 是否有使用谷歌网站...

  • 大型网站架构系列全整理

    网站架构完整方案 30页 免费 大型WEB网站架构深入分析... 12页 免费 电子...解决方案是数据散列和分区视图的概念,具体概念大家去 google 一下,我不详细说明...

  • 云计算Google的技术构架

    二、Google 的整体技术构架说明 由于 Google 中 没有官方发布一个自身的技术构架说明。本文主要的信息都来自互联网 对于 Google 网络技术构架的分析,大量信息来自 ...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email