seo - 禁止 robots.txt 中的目录时是否应该使用尾部斜杠？

Question

我想禁止抓取 robots.txt 中的目录 /acct 我应该使用哪个规则？

禁止:/acct 或 禁止:/acct/

acct 包含子目录和文件。尾部斜杠有什么作用？

Answer 1

由于 robots.txt 规则都是“开头为”规则，因此您提议的两条规则都不允许以下内容:

• https://example.com/acct/
• https://example.com/acct/foo
• https://example.com/acct/bar

但是，只有没有尾部斜杠的规则才会不允许以下内容:

• https://example.com/acct
• https://example.com/acct.html
• https://example.com/acctbar

Disallow:/acct/ 通常更好，因为不存在禁止意外 URL 的风险。但是，它不会阻止抓取 /acct。

在大多数情况下，Web 服务器会重定向不带尾部斜杠的目录 URL 以添加尾部斜杠。在您的服务器上，https://example.com/acct 可能会重定向到 https://example.com/acct/。如果是这种情况，通常可以允许机器人抓取不带尾部斜杠的 /acct 并查看重定向。他们将被阻止抓取重定向的目标。