我目前正在开发 Drupal 7 网站。我将以下内容添加到我的 robots.txt 文件中(在 # Directories 部分下)
Disallow: /sites/default/files/
但是当我在 Google 中输入“site:www.example.com filetype:pdf”时，它仍然能够爬进我的 /sites/default/files 文件夹。谁能帮我弄清楚为什么这些内容仍在被抓取？
我在这里得到的唯一相关链接是:Can I add sites/default/files in robots.txt?这没有回答我的问题。
最佳答案
请记住，Google 的缓存有效期约为 2 周，因此您的设置将在该时间段后生效。
关于drupal-7 - 不允许 :/sites/default/files/not working for my Drupal Website，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/26410222/