文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 互联网 > rebots讲解
侵权投诉

rebots讲解

您要允许的目录或页面即可。
  您也可以同时使用“Disallow”和“Allow”。例如,要拦截子目录中某个页面之外的其他所有页面,可以使用下列条目:
  User-agent: Googlebot
  Disallow: /folder1/
  Allow: /folder1/myfile.html
  这些条目将拦截 folder1 目录内除 myfile.html 之外的所有页面。
  如果您要拦截 Googlebot 并允许 Google 的另一个漫游器(如 Googlebot-Mobile),可使用”Allow”规则允许该漫游器的访问。例如:
  User-agent: Googlebot
  Disallow: /
  User-agent: Googlebot-Mobile
  Allow:
  使用 * 号匹配字符序列:
  您可使用星号 (*) 来匹配字符序列。例如,要拦截对所有以 private 开头的子目录的访问,可使用下列条目:
  User-Agent: Googlebot
  Disallow: /private*/
  要拦截对所有包含问号 (?) 的网址的访问,可使用下列条目:
  User-agent: *
  Disallow: /*?*
  使用 $ 匹配网址的结束字符
  您可使用 $ 字符指定与网址的结束字符进行匹配。例如,要拦截以 .asp 结尾的网址,可使用下列条目:
  User-agent: Googlebot
  Disallow: /*.asp$
  您可将此模式匹配与 Allow 指令配合使用。例如,如果 ? 表示一个会话 ID,您可排除所有包含该 ID 的网址,确保 Googlebot 不会抓取重复的网页。但是,以 ? 结尾的网址可能是您要包含的网页版本。在此情况下,可对 robots.txt 文件进行如下设置:
  User-agent: *
  Allow: /*?$
  Disallow: /*?
  Disallow: / *?
  一行将拦截包含 ? 的网址(具体而言,它将拦截所有以您的域名开头、后接任意字符串,然后是问号 (?),而后又是任意字符串的网址)。
  Allow: /*?$ 一行将允许包含任何以 ? 结尾的网址(具体而言,它将允许包含所有以您的域名开头、后接任意字符串,然后是问号 (?),问号之后没有任何字符的网址)。
Robots Meta标签
  Robots.txt文件主要是限制整个站点或者目录的搜索引擎访问情况,而Robots Meta标签则主要是针对一个个具体的页面。和其他的META标签(如使用的语言、页面的描述、关键词等)一样,Robots Meta标签也是放在页面中,专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。
  Robots Meta标签中没有大小写之分,name=”Robots”表示所有的搜索引擎,可以针对某个具体搜索引擎写为name=”BaiduSpider”。content部分有四个指令选项:index、noindex、follow、nofollow,指令间以“,”分隔。
  index指令告诉搜索机器人抓取该页面;
  follow指令表示搜索机器人可以沿着该页面上的链接继续抓取下去;
  Robots Meta标签的缺省值是index和follow,只有inktomi除外,对于它,缺省值是index、nofollow

上一页第3页

你可能喜欢

热门文档

相关文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email