【56谷歌seo】专注谷歌seo,谷歌优化推广,外贸网站推广外包,联系微信:00000000, 手机:00000000
主页 > 谷歌网站建设 > 正文

SEO教你玩转robots协议

robots爬虫协议,相信很多SEOer或个人站长都不会感到陌生,即使刚入行的SEO小白也略有耳闻。对于SEO小白来说,只是听过robots爬虫协议并不了解robots协议真正意义和用法。今天江西SEO曾庆平就来带大家一探究竟,并教你玩转robots协议。

 

什么是robots协议

 

robots(中文翻译为机器人),robots协议即搜索引擎爬虫协议,它是搜索引擎爬虫与网站站点沟通的“桥梁”。网站站点通过robots文件中的声明规则明确告知搜索引擎爬虫哪些文件/目录可以抓取,哪些文件/目录不可以抓取。

 

注意:如果网站站点存在不希望搜索引擎爬虫抓取收录的内容是,才有必要创建robots.txt文件;如果您希望搜索引擎收录网站上所有内容,则无需建立robots.txt文件。

 

robots.txt文件的存放位置

 

通常,网站的robots.txt文件放置在网站根目录下,便于搜索引擎爬虫第一时间抓取该文件。

 

robots.txt文件格式

 

1、robots文件通常包含以一条或多条User-agent开始,后面加上若干条Disallow或Allow。

 

2、User-agent:用来描述搜索引擎robot的名字。

 

3、如果存在多条User-agent记录说明有多个robot会受到"robots.txt"的限制,至少要有一条User-agent记录。

 

4、如果User-agent的值设为*,则对任何robot均有效,且"User-agent:*"这样的记录只能有一条。

 

5、如果有"User-agent:SomeBot"和若干Disallow、Allow行,那么搜索引擎爬虫名为"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和Allow行的限制。

 

6、Disallow:用来描述不希望被访问的一组URL。

 

7、这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被 robot访问。

 

8、比如:"Disallow:/help"这条规则表示的是禁止robot访问/help.html、/helpabc.html、/help/index.html等。

 

9、比如:"Disallow:/help/"这条规则表示的是允许robot访问/help.html、/helpabc.html,不能访问/help/index.html。

 

10、"Disallow:"说明允许robot访问该网站的所有url,robots.txt文件中,至少要有一条Disallow记录。

 

11、如果网站根目录下robots.txt不存在或者为空文件,则对于所有的搜索引擎爬虫来说,该网站都是开放的。

 

12、Allow:用来描述希望被访问的一组URL。

 

13、与Disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以Allow项的值开头的URL 是允许robot访问的。

 

14、比如:"Allow:/hibaidu"这条规则表示的是允许robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的所有URL默认是Allow的,所以Allow通常与Disallow搭配使用,实现允许访问一部分网页同时禁止访问其它所有URL的功能。

 

15、使用"*"and"$":Baiduspider支持使用通配符"*"和"$"来模糊匹配url("*" 匹配0或多个任意字符,"$" 匹配行结束符)。
 

robots协议

 

江西SEO曾庆平如何玩转robots协议

 

1、禁止所有搜索引擎爬虫访问网站的任何内容

 

User-agent: *

 

Disallow: /

 

2、允许所有搜索引擎爬虫访问网站的任何内容

 

User-agent: *

 

Allow: /

 

3、仅禁止baidu搜索引擎爬虫访问网站的任何内容

 

User-agent: Baiduspider

 

Disallow: /

 

User-agent: *

 

Allow: /

 

4、仅允许baidu搜索引擎爬虫访问网站的任何内容

 

User-agent: Baiduspider

 

Allow: /

 

User-agent: *

 

Disallow: /

 

5、仅允许baidu及google爬虫访问网站的任何内容

 

User-agent: Baiduspider

 

Allow: /

 

User-agent: Googlebot

 

Allow: /

 

User-agent: *

 

Disallow: /

 

6、仅允许baidu及360搜索引擎爬虫访问网站内容,并且禁止抓取所有图片和php网页内容

 

User-agent: Baiduspider

 

Allow: /

 

Disallow: /*.jpg$

 

Disallow: /*.jpeg$

 

Disallow: /*.png$

 

Disallow: /*.gif$

 

Disallow: /*.bmp$

 

Disallow: /*.php$

 

User-agent: 360Spider

 

Allow: /

 

Disallow: /*.jpg$

 

Disallow: /*.jpeg$

 

Disallow: /*.png$

 

Disallow: /*.gif$

 

Disallow: /*.bmp$

 

Disallow: /*.php$

 

User-agent: *

 

Disallow: /

 

其他的robots爬虫协议规则,江西SEO曾庆平就不在这里给大家一一举例了。大家可以自己去练习并理解,robots爬虫协议也是很重要的。

 

写到最后:

 

以上内容就是江西SEO曾庆平优化江西SEO曾庆平对“江西SEO教你玩转robots协议”的全部解读,知识点相对比较多且琐碎,希望大家认真阅读并勤加练习。想要真正掌握SEO优化技能一定要多练习,多思考,多总结。
 

喜欢 (0)
本文地址http://www.sht56.net/jianshe/127.html

更多SEO教你玩转robots协议

发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

【56谷歌SEO】分享谷歌SEO排名技巧,Google优化心得,致力于外贸推广,Google搜索引擎关键词优化,搜索引擎优化SEO从入门到精通。

首页 Copyright 2015—2018 56谷歌SEO优化 版权所有 网站地图

长按微信号复制

0000000000

打开微信

seo

装修

房地产

公关

租号

租号