文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 搜索引擎算法
侵权投诉

搜索引擎算法

4.内容的抢先性和长效性

六、人工干预

1.投票人员干预

2.关键词人工加(扣)分

3.机器算法干预

搜索引擎蜘蛛基本原理

基本概述

搜索引擎蜘蛛即Search Engine Spider,是一个很形象的名字。把互联网比喻成一张蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。搜索引擎蜘蛛是通过网页的链接地址来寻找网页,从 网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网,那么搜索引擎蜘蛛就可以用这个原理把互联网上所有节点的网页都抓取下来。 由于互联网上无数的网站页面,搜索引擎蜘蛛无法将所有的页面都下载保存到服务器。因此,许多搜索引擎的网络蜘 蛛只是抓取那些重要的网页,而在抓取的时候评价重要性主要的依据是某个网页的链接广泛度(及外部链接的数量与质量)。

抓取网页策略

在抓取网页的时候,搜索引擎蜘蛛一般有两种策略:广度优先和深度优先(如下图所示)。广度优先是指搜索引擎蜘蛛会先抓取起始网页中链接的所有网页,然后再选择其中 的一个链接网页,继续抓取在此网页中链接的所有网页。这是最常用的方式,因为这个方法可以让搜索引擎蜘蛛并行处理,提高其抓取速度。深度优先是指搜索引擎蜘蛛会从 起始页开始,一个链接一个链接跟踪下去,处理完这条线路之后再转入下一个起始页,继续跟踪链接。这个方法有个优点是搜索引擎蜘蛛在设计的时候比较容易。两种策略的区别,下图的说明会更加明确。 由于不可能抓取所有的网页,有些搜索引擎蜘蛛对一些不太重要的网站,设置了访问的层数。例如,在上图中,A为起始网页,属于0层,B、C、D、E、F属于第1 层,G、H属于第2层,I属于第3层。如果搜索引擎蜘蛛设置的访问层数为2的话,网页I是不会被访问到的。这也让有些网站上一部分网页能够在搜索引擎上搜索 到,另外一部分不能被搜索到。 对于网站设计者来说,扁平化的网站结构设计有助于搜索引擎抓取其更多的网页。

上一页第3页

你可能喜欢

  • 自我SWOT分析
  • SWOT分析案例
  • 竞争对手研究
  • 搜索引擎
  • Linux系统命令使用详解
  • 物体识别
  • 启发式搜索算法

热门文档

相关文档

  • Web搜索引擎及算法

    搜索引擎搜索引擎隐藏>> Web搜索引擎 Web搜索引擎概述、体系结构、排序算法 搜索 Web 三种形式– Specific queries ? encyclopaedia, libraries Exploit hyperlink ...

  • 搜索引擎算法

    几种搜索引擎算法研究 Posted on 2010-01-06 10:02 我不是高手 阅读(266) 评论(0) 编辑 收藏1.引言 万维网 WWW(World Wide Web)是一个巨大的,分布全球的...

  • 2012年百度搜索引擎算法发生了哪些变化总结

    2012 年百度搜索引擎算法发生了哪些 变化总结 时代在发展,事事物物都在发展。站长们一直在关注的百度哥每天都会迎来一次大的 改变,搜索引擎也需要丌断的完善以及跟...

  • 搜索引擎算法的基础知识

    搜索引擎算法的基础知识_互联网_IT/计算机_专业资料。搜索引擎算法的基础知识 如果我们要建立一个搜索引擎,第一步是标记化的文本。我们希望成为能够快速确定哪些...

  • 【论文】内网搜索引擎算法的分析与研究

    内网搜索引擎算法的分析与研究_互联网_IT/计算机_专业资料。ISSN 1009-3044 E—mail:eduf@dnzs.net.cn http://www.dnz ISSN 1009-3044 E—mail:eduf@dnzs....

  • 谷歌搜索引擎的算法

    谷歌搜索引擎的算法_IT/计算机_专业资料。PPCblog.com 呈现给我们一幅由 Jess Bachman (在 WallStats.com 工作)精心描绘的示意图,这张流程图展示了每天拥有 3 ...

  • 搜索引擎的计算方法

    每个搜 索引擎公司都将其的搜索引擎算法保护的极其严密, 只有很少很少的一部分的公 司能有机会看到这些算法的全貌。而且就算是有机会看到这些算法的真正模样, 要...

  • 搜索引擎算法及蜘蛛原理

    搜索引擎算法及蜘蛛原理_IT/计算机_专业资料。搜索引擎算法 1:搜索引擎算法定义 1:搜索引擎算法定义获得网站网页资料,建立数据库并提供查询的系统,我们都可以把它...

  • 搜索引擎算法

    HITS 搜索引擎算法的研究理 解 HITS 算法是 Web 结构挖掘中最具有权威性和使用最广泛的算法。 HITS(Hypertext-InducedTopic Search)算法是利用 Web 的链接结构进行...

  • 搜索引擎相关度算法分析

    ——————————————————————————————————————— 【补充材料:搜索引擎的相关排序算法分析与优化】 WWW 是一个巨大的潜在的知识库,它...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email