User-agent: *Allow: /是什么意思

User-agent: *Allow: /是什么意思详细介绍

User-agent: *Allow是robots文件中的一句语法，代表的意思是：允许所有的可以按照robots文件中的限制语法进行合理的抓取网站中的文件、目录。

obots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。robots.txt文件的格式：User-agent: 定义的类型，Disallow: 定义禁止收录的地址，Allow: 定义允许收录的地址。

扩展资料：

robots文件中常用的语法：

User-agent: * 这里的*代表的所有的种类，*是一个通配符；

Allow: /cgi-bin/　这里定义是允许爬寻cgi-bin目录下面的目录；

Allow: /tmp 这里定义是允许爬寻tmp的整个目录；

Allow: .htm$ 仅允许访问以".htm"为后缀的URL；

Allow: .gif$ 允许抓取网页和gif格式robots.txt文件用法举例。

,