使用 robot.txt 是否可以限制机器人对(特定)查询字符串(参数)值的访问？
即
http://www.url.com/default.aspx #allow
http://www.url.com/default.aspx?id=6 #allow
http://www.url.com/default.aspx?id=7 #disallow
最佳答案
User-agent: *
Disallow: /default.aspx?id=7 # disallow
Disallow: /default.aspx?id=9 # disallow
Disallow: /default.aspx?id=33 # disallow
etc...
您只需指定不允许的网址。默认情况下允许其他一切。
关于seo - 限制机器人访问(特定)查询字符串(参数)值？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/1177111/