regex - 仅从搜索引擎中阻止 2 个域中的 1 个

Question

我在同一台服务器和同一目录中托管两个域。我想阻止搜索引擎访问其中的一个域，但不想阻止另一个域。

假设我有:

www.site1.com 和 www.site2.com

两者都指向服务器上的同一个 IP，我只想阻止 site2.com 而不是 site1.com。

我该怎么做？有什么线索吗？

Answer 1

使用以下代码创建一个名为 robots2.txt 的文件:

User-agent: *
Disallow: /

然后将此规则放入您的 DOCUMENT_ROOT/.htaccess 文件中:

RewriteEngine On

RewriteCond %{HTTP_HOST} ^(www\.)?site2\.com$ [NC]
RewriteRule ^robots\.txt$ /robots2.txt [L,NC]

1. 这将为 site2 的所有 /robots.txt 请求提供 /robots2.txt。
2. 常规 /robots.txt 将用于 site1。
3. 只有 site2 会被搜索引擎屏蔽。