robots.txt协议

2018年6月24日00:15:12 发表评论 166

robots.txt是网站对搜索引擎进行访问权限及访问路径的命令设置。

搜索引擎蜘蛛在爬行一个网站的时候,首先会访问这个robots.txt文件。通过这个文件内的命令要求,再来依次访问网站的路径和内容。在很多seo学习论坛中,我们经常会看到很多站长都在讲robots,由此可见,robots对于网站优化也是不可或缺的一部分!

robots的书写有以下几种:

1:允许所有搜索引擎爬行,抓取的书写形式:

User-agent: *

Disallow:

或者

User-agent: *

Allow:/

建立一个空白的robots.txt放置在网站根目录下,同样也是起到允许所有搜索引擎爬行抓取的命令!

robots.txt协议

2:禁止所有搜索引擎访问

User-agent: *

Disallow: /

或者

User-agent: *

allow:

3:禁止所有搜索引擎访问网站中的几个部分,这里以1,2,3代替目录名称

User-agent: *

Disallow: /1/

Disallow: /2/

Disallow: /3/

4:禁止某个搜索引擎的访问

User-agent: 某个搜索引擎名称

Disallow: /

5:只允许某个搜索引擎的访问

User-agent: 某个搜索引擎名称

Disallow:

这些都是常用的几种robots.txt书写形式。站长们可以根据自己网站的需求,通过上述命令的变形来书写更多的robots形式。

weinxin
我的微信
本站专注IT互联网领域,分享有用的教程和资源,目的就是希望大家共同进步,一起学习!
IT教程网

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: