据此 http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449
不允许:/page1/
所有 page1 URL 都将被禁止，即 page1/foo/bar 也将被阻止。
不允许:/page1
只有 page1 会被阻止，而 page1/foo/bar 会 被允许。
但这并没有发生，我怎样才能只阻止 page1 并允许抓取 page1/foo/bar
编辑:
实际问题是同一页面在不同路径中被抓取两次
作为 /page 和 /page/
最佳答案
为什么不直接添加机器人元标记？
<meta name="robots" content="noindex, nofollow, noarchive"/>
关于drupal-6 - 阻止 Robots.txt 中的特定页面，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/10630989/