您要允许的目录或页面即可。
您也可以同时使用“Disallow”和“Allow”。例如,要拦截子目录中某个页面之外的其他所有页面,可以使用下列条目:
User-agent: Googlebot
Disallow: /folder1/
Allow: /folder1/myfile.html
这些条目将拦截 folder1 目录内除 myfile.html 之外的所有页面。
如果您要拦截 Googlebot 并允许 Google 的另一个漫游器(如 Googlebot-Mobile),可使用”Allow”规则允许该漫游器的访问。例如:
User-agent: Googlebot
Disallow: /
User-agent: Googlebot-Mobile
Allow:
使用 * 号匹配字符序列:
您可使用星号 (*) 来匹配字符序列。例如,要拦截对所有以 private 开头的子目录的访问,可使用下列条目:
User-Agent: Googlebot
Disallow: /private*/
要拦截对所有包含问号 (?) 的网址的访问,可使用下列条目:
User-agent: *
Disallow: /*?*
使用 $ 匹配网址的结束字符
您可使用 $ 字符指定与网址的结束字符进行匹配。例如,要拦截以 .asp 结尾的网址,可使用下列条目:
User-agent: Googlebot
Disallow: /*.asp$
您可将此模式匹配与 Allow 指令配合使用。例如,如果 ? 表示一个会话 ID,您可排除所有包含该 ID 的网址,确保 Googlebot 不会抓取重复的网页。但是,以 ? 结尾的网址可能是您要包含的网页版本。在此情况下,可对 robots.txt 文件进行如下设置:
User-agent: *
Allow: /*?$
Disallow: /*?
Disallow: / *?
一行将拦截包含 ? 的网址(具体而言,它将拦截所有以您的域名开头、后接任意字符串,然后是问号 (?),而后又是任意字符串的网址)。
Allow: /*?$ 一行将允许包含任何以 ? 结尾的网址(具体而言,它将允许包含所有以您的域名开头、后接任意字符串,然后是问号 (?),问号之后没有任何字符的网址)。
Robots Meta标签
Robots.txt文件主要是限制整个站点或者目录的搜索引擎访问情况,而Robots Meta标签则主要是针对一个个具体的页面。和其他的META标签(如使用的语言、页面的描述、关键词等)一样,Robots Meta标签也是放在页面中,专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。
Robots Meta标签中没有大小写之分,name=”Robots”表示所有的搜索引擎,可以针对某个具体搜索引擎写为name=”BaiduSpider”。content部分有四个指令选项:index、noindex、follow、nofollow,指令间以“,”分隔。
index指令告诉搜索机器人抓取该页面;
follow指令表示搜索机器人可以沿着该页面上的链接继续抓取下去;
Robots Meta标签的缺省值是index和follow,只有inktomi除外,对于它,缺省值是index、nofollow
Unit 1 Will people have robots知识点讲解及其练习(好资料)_初二英语_英语_初中教育_教育专区。知识点讲解Unit 1 Will people have robots? 知识点: 知识点:...
【语法讲解】 Unit 2 R... 暂无评价 2页 免费 robots语法 2页 免费 Unit...robots.txt 是搜索引擎中访问网站的时候要查看的第一个文件。 Robots.txt 文件...
知识点讲解与练习_初三英语_英语_初中教育_教育专区。Unit 1 Will people have robots 知识点讲解与练习 一、alone adj. &adv. 与 lonely 1. =by oneself ...
人教版八年级上册Unit7 Will people have robots知识讲解及单元检测(含答案)_政史地_初中教育_教育专区。人教版八年级上册 Unit7 Will people have robots? ...
新课标选修七Unit2-robots 单词讲解_高三英语_英语_高中教育_教育专区。自己整理的全单元单词讲解Desire n. 渴望 渴望得到/ 1). A desire for sth /to do ...
forget to do sth 忘记去做某事 forget doing sth 忘记做了某事 三、重难点讲解 考点 1 Do you think there will be robots in people's homes? 1. Do ...
※※※题※※※线※※※ 新目标英语八年级下册 Unit1 Will people have robots?讲解与练习 班级 姓名重点词组及句型: 1. There will be sth.= There is /...
Unit_1___Will_people_have__robots知识点讲解及其练习(好资料)_英语_初中教育_教育专区。Unit 1 Will people have robots? 知识点: 需要背诵的是:第 6 页...
Unit 7 Will people have robots Section A 知识讲解_英语_初中教育_教育专区。Unit 7 Will people have robots? Section A 知识讲解 一.paper 1. n. “纸...
热门文档