我希望忽略来自 bingbot 的所有包含查询字符串变量 at1=
的 URL,但我不清楚应该使用的模式。
其中一个应该起作用吗?
User-agent: bingbot
Disallow: /*at1=
Disallow: *at1=*
为了确认,我可以有一个这样的 URL:
/some-page?at1=4&ca1=5&op1=8
我仍然希望访问 /some-page
但当列出的 URL 具有查询字符串参数时则不会访问
编辑
海报实际上已经建议了一个 PHP 解决方案,在细粒度定位方面可能有意义,但我不确定应该发送什么正确的 HTTP 状态代码来告诉蜘蛛它不受欢迎。有什么想法吗?
最佳答案
if ( strstr($_SERVER['HTTP_USER_AGENT'], "www.bing.com/bingbot.htm") and isset($_GET['at1']) ) :
@header("HTTP/1.0 480 Temporarily Unavailable");
die;
endif;
关于seo - Robots.txt 排除模式,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/12405265/