。
需要注意的是:
上述的robots.txt和Robots Meta标签限制搜索引擎机器人(ROBOTS)抓取站点内容的办法只是一种规则,需要搜索引擎机器人的配合才行,并不是每个ROBOTS都遵守的。
目前看来,绝大多数的搜索引擎机器人都遵守robots.txt的规则,而对于RobotsMETA标签,目前支持的并不多,但是正在逐渐增加,如著名搜索引擎GOOGLE就完全支持,而且GOOGLE还增加了一个指令“archive”,可以限制GOOGLE是否保留网页快照。
编辑本段robots.txt使用误区
特别提示:robots里面内容的大小写不可更改,Disallow后面的冒号必须为英文状态的。
误区一
网站上所有的文件都需要被蜘蛛抓取,那就没必要添加robots.txt文件了。反正如果该文件不存在,所有的搜索蜘蛛将默认能够访问网站上所有没有被口令保护的页面。
误区二
在robots.txt文件中设置所有的文件都可以被搜索蜘蛛抓取,这样可以增加网站的收录率。
网站中的脚本程序、样式表等文件即使被蜘蛛收录,也不会增加网站的收录率,还只会占用服务器存储空间。因此必须在robots.txt文件里设置不要让搜索蜘蛛索引脚本程序、样式表等文件,具体哪些文件需要排除,在robots.txt使用技巧一文中有详细介绍。
误区三
搜索蜘蛛抓取网页太浪费服务器资源,在robots.txt文件中设置所有的搜索蜘蛛都不能抓取全部的网页。
如果这样的话,会导致整个网站不能被搜索引擎收录。
编辑本段robots.txt使用技巧
文件
1. 每当用户试图访问某个不存在的URL时,服务器都会在日志中记录404错误(无法找到文件)。每当搜索蜘蛛来寻找并不存在的robots.txt文件时,服务器也将在日志中记录一条404错误,所以你应该在网站中添加一个robots.txt。
2. 网站管理员必须使蜘蛛程序远离某些服务器上的目录——保证服务器性能。比如:大多数网站服务器都有程序储存在“cgi-bin”目录下,因此在robots.txt文件中加入“Disallow: /cgi-bin/”是个好主意,这样能够避免将所有程序文件被蜘蛛索引,可以节省服务器资源。一般网站中不需要蜘蛛抓取的文件有:后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。
下面是VeryCMS里的robots.txt文件:
User-agent: *
Disallow: /admin/ 后台管理文件
Disallow: /require/ 程序文件
Disallow: /attachment/ 附件
Disallow: /images/ 图片
Disallow: /data/ 数据库文件
Disallow: /template/ 模板文件
Disallow: /css/ 样式表文件
Disallow: /lang/ 编码文件
Disallow: /script/ 脚本文件
3. 如果你的网站是动
Unit 1 Will people have robots知识点讲解及其练习(好资料)_初二英语_英语_初中教育_教育专区。知识点讲解Unit 1 Will people have robots? 知识点: 知识点:...
【语法讲解】 Unit 2 R... 暂无评价 2页 免费 robots语法 2页 免费 Unit...robots.txt 是搜索引擎中访问网站的时候要查看的第一个文件。 Robots.txt 文件...
知识点讲解与练习_初三英语_英语_初中教育_教育专区。Unit 1 Will people have robots 知识点讲解与练习 一、alone adj. &adv. 与 lonely 1. =by oneself ...
人教版八年级上册Unit7 Will people have robots知识讲解及单元检测(含答案)_政史地_初中教育_教育专区。人教版八年级上册 Unit7 Will people have robots? ...
新课标选修七Unit2-robots 单词讲解_高三英语_英语_高中教育_教育专区。自己整理的全单元单词讲解Desire n. 渴望 渴望得到/ 1). A desire for sth /to do ...
forget to do sth 忘记去做某事 forget doing sth 忘记做了某事 三、重难点讲解 考点 1 Do you think there will be robots in people's homes? 1. Do ...
※※※题※※※线※※※ 新目标英语八年级下册 Unit1 Will people have robots?讲解与练习 班级 姓名重点词组及句型: 1. There will be sth.= There is /...
Unit_1___Will_people_have__robots知识点讲解及其练习(好资料)_英语_初中教育_教育专区。Unit 1 Will people have robots? 知识点: 需要背诵的是:第 6 页...
Unit 7 Will people have robots Section A 知识讲解_英语_初中教育_教育专区。Unit 7 Will people have robots? Section A 知识讲解 一.paper 1. n. “纸...
热门文档