当前位置： 文档下载 > 所有分类 > IT/计算机 > 如何和搜索引擎爬虫对话如何和搜索引擎爬虫对话
如何和搜索引擎爬虫对话
1、通过robots.txt和爬虫对话：搜索引擎发现一个新站，原则上第一个访问的就是robots.txt文件，可以通过allow/disallow语法告诉那些文件目录可以被抓取和不可以被抓取。
关于robots.txt的详细介绍：about/robots.txt另外需要注意的是：allow/disallow语法的顺序是有区别的
2、通过metatag和爬虫对话：比如有的时候我们希望网站列表页不被搜索引擎收录但是又希望搜索引擎抓取，那么可以通过＜metaname=“robots”content=“noindex，follow”＞告诉爬虫，其他常见的还有noarchive，nosnippet，noodp等。
3、通过rel=“nofollow”和爬虫对话：关于rel=“nofollow”最近国平写了一篇文章《如何用好nofollow》很值得一读，相信读完之后你会有很大的启发。
4、通过rel=“canonical”和爬虫对话：关于rel=“canonical”谷歌网站站长工具帮助有很详细的介绍：深入了解
User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.2) Gecko/20090729 Firefox/3.5.2 如何识别搜索引擎爬虫方法很多: 1 通过...
如何和网络爬虫对话 看淘宝搜索技术 博客上的一篇文章《定 向抓取漫谈》 ,对...律云 http://www.lyun.com 1、通过 robots.txt 和爬虫对话:搜索引擎 发现一...
搜索引擎爬虫工作原理_互联网_IT/计算机_专业资料。搜索引擎的处理对象是互联网网页...垂直搜索引擎的主题爬虫... 2页 免费 如何和搜索引擎爬虫对话 2页 免费 搜索...
http://www.wlyxjd.com/ 各大搜索引擎爬虫程序名称 通常搜索引擎抓取网页的方式...搜索引擎爬虫工作原理 3页 免费 如何和搜索引擎爬虫对话 2页 免费 搜索引擎中主...
如何分析网站IIS日志中的... 2页 免费 网站架构分析...网站结构要符合搜索引擎的爬虫喜好,这样才有利于网站...5、与搜索引擎对话。6、网站流量分析。 1、关键词...
搜索引擎爬虫工作原理-大揭秘 搜索引擎的处理对象是互联网网页,日前网页数目以...搜索引擎中网络爬虫的设... 2页 1下载券 如何和搜索引擎爬虫对话 2页 免费 ...
搜索引擎中网络爬虫的设计与实现 摘要: 随着信息时代的来临,互联网逐渐渗透到我们生活中的 每个角落,其中搜索引擎的应用,更是为我们的生活和学习带来了 很大的便利...
网络爬虫在搜索引擎应用中的问题及对策_互联网_IT/计算机_专业资料 暂无评价
爬虫原理 2009-05-25 18:18 准备工作 需要注册一个免费帐号,然后登录进入采集...搜索引擎中网络爬虫的设... 2页 1下载券 如何和搜索引擎爬虫对话 2页 免费喜欢...
搜索引擎蜘蛛爬虫原理: 1、聚焦爬虫工作原理及关键技术概述? 网络爬虫是一个自动...如何和搜索引擎爬虫对话 2页 免费 搜索引擎爬虫工作原理 3页 免费喜欢...
热门文档