百度
360搜索
搜狗搜索

User-agent: *Allow: /是什么意思详细介绍

User-agent: *Allow是robots文件中的一句语法,代表的意思是:允许所有的可以按照robots文件中的限制语法进行合理的抓取网站中的文件、目录。

obots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。robots.txt文件的格式:User-agent: 定义的类型,Disallow: 定义禁止收录的地址,Allow: 定义允许收录的地址。

扩展资料:

robots文件中常用的语法:

User-agent: * 这里的*代表的所有的种类,*是一个通配符;

Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录;

Allow: /tmp 这里定义是允许爬寻tmp的整个目录;

Allow: .htm$ 仅允许访问以".htm"为后缀的URL;

Allow: .gif$ 允许抓取网页和gif格式robots.txt文件用法举例。

,

网站数据信息

"User-agent: *Allow: /是什么意思"浏览人数已经达到52次,如你需要查询该站的相关权重信息,可以点击进入"Chinaz数据" 查询。更多网站价值评估因素如:User-agent: *Allow: /是什么意思的访问速度、搜索引擎收录以及索引量、用户体验等。 要评估一个站的价值,最主要还是需要根据您自身的需求,如网站IP、PV、跳出率等!