选填,简要介绍文档的主要内容,方便文档被更多人浏览和下载。

实践与经验
Google体系结构分析
胡
波
(盐城工学院信息工程学院,盐城224051)
摘
要:为了适应大规模广范围高密度的搜索,Google的网络搜索应用允许在不同的处理器上运行
不同的查询;同时,通过对全局索引进行分解,Google也允许在多个处理器上运行单一的查询。Google的主旨是,使用市场上流行的具有通用的PC,以达到大型机所具有的高性能。通过对已有资料进行搜集,对Google的体系结构、工作性能等进行分析,目的是通过对
Google的调研,给网格建设提供一定的借鉴。
关键词:Google;体系结构;Web搜索
0引言
许多公司推出了相应的搜索引擎服务,例如国外
保证用户查找信息的精度和新鲜度,搜索引擎需要建立并维护一个庞大的索引数据库。Google搜索引擎的组成部件主要包括Crawler、索引库、搜索引擎软件等[2]。
的Google、Yahoo、AltaVista、Excite、InfoSeek,国内的百度、搜狐、奇摩搜索、盖世引擎等[1]。这些搜索引擎,大多数是免费的,它们采用的技术、体系结构各异,所能获得的性能指标也有所差别。本文的重点在于分析
Google搜索技术,以及其各项性能指标,目的在于对Google搜索技术有个深层次的了解,为实践的网格项目起到一定的借鉴作用。
1Google简介
Google拥有许多创新技术,这是Google超群脱俗、
图1Google的体系结构
屹立不倒的一个因素。另外一个原因在于:相比其他搜索引擎,Google的维护代价最小,而提供的服务最强。
●Crawler:网络蜘蛛,用来定期收集信息
Google定期地使用Crawler根据预先设定的IP地址范围,遍历对应的网页。如果网页更新过或发现了新的网页,则获取该网页,并返回给服务器,然后继续沿网络遍历,直至访问完所有的链接。因此,Crawler访问页面的过程,也就是对Internet上信息进行遍历的过程。为了保证Crawler遍历信息的广度,Google事先设定了一些重要的链接。
1.1Google背景
Google成立于1997年,公司位于美国加州,只有1000多位雇员,却有20000多台服务器,储存40多亿网页,每天提供近2亿次搜索结果。由于搜索结果多而全,而且匹配度极高,Google成立数年后,其搜索结果就被美国在线、雅虎和网景等著名门户网站采用。
1.2Google的体系结构
搜索引擎根据用户的查询请求,按照一定的算法,从索引数据库中查找相应的信息并返回给用户。为了
收稿日期:2010-03-01
修稿日期:2010-03-20
Google可同时运行多个Crawler,当服务器把URL列表提供给Crawler后,每个Crawler可同时保持大约
300个网络连接。高峰时,通过Crawler,Google可每秒
作者简介:胡波(1967-),男,江苏盐城人,讲师,研究方向为计算机网络
2010.04
貨貖貋
凭借优秀的软件设计,Google在诸多搜索引擎中脱颖而出,而其具有极高性价比的硬件体系结构的搭建思想更值得研究和学习。本文对Google的硬件结构进行了深入研究,并对其...
Google体系结构分析_IT/计算机_专业资料。web搜索实践与经验 / Goge体 系结构 分析 ol胡 波(城工学 院信 息工程学院,城245)盐盐201 摘 要: 了适 应 大...
Google集群体系结构分析 5页 1财富值搜你所想,读你所爱 拒绝盗版,营造绿色文库 如要投诉违规内容,请到百度文库投诉中心;如要提出功能问题或意见建议,请点击...
. Sep 2005 文章编号 :1004 4736 ( 2005) 05 0055 05 Google 集群体系结构分析刘 军1 ,3 ,丁 红2 ,吕 涛1 ( 1. 武汉化工学院计算机科学与工程学院 ,...
Google网站架构分析_IT/计算机_专业资料。博客资料Google网站架构分析 2009年5月3日 分享: 发表评论 阅读评论 Google是可伸缩性之王。每个人都知道Google是因为...
2006 搜索引擎Google 的体系结构及其核心技术研究王德峰 , 李 1, 2 东 1 ( 1. 哈尔滨工业大学 计算机科学与技术学院, 黑龙江 哈尔滨 150001; 2. 哈尔滨商业...
简述 经过这几天对 Glusterfs 的分析, 对其体系结构已经有了初步的理解。 值得...1. 有 MeteData 系统的优势和不足: 类似于 Google, Lustre 等, MeteData 是...
云计算体系结构研究 ?1.引言 ?2.云计算概念及特点 ?3.云计算体系结构及优缺点 ?4.可复用性分析 ?5.心得体会 引言 ? Google、IBM和Amazon等公司正在大力开发...
Google文化、组织结构等大揭密_互联网_IT/计算机_专业资料。Google文化、组织结构等大揭密译文: 文化、组织结构等大揭密【转载】 译文:Google 文化、组织结构等大...
2.徐州师范大学计算机科学与技术学院,江苏徐州221116) 摘要:首先介绍了云计算产生的背景、概念、基本原理和体系结构,然后以Google系统为例详细阐述了云计算的实现机制...
热门文档