我在 opencart 中有一个网站 abc.com 我用它开了一家多商店 xyz.com 我发现谷歌已经开始抓取 xyz.com 也是我不想要的。
这两个域都指向同一个目录，所以我想只能有一个 robots.txt 文件。我对谷歌网站管理员或 SEO 不是很有经验，所以请告诉我如何让谷歌忽略所有以 xyz.com 开头的网址。
最佳答案
如果您使用 Apache 和 mod_rewrite，您可以添加一个重写规则来为 xyz.com 提供不同的 robots.txt 文件:
RewriteCond %{HTTP_HOST} xyz.com$ [NC]
RewriteRule ^robots.txt robots_xyz.txt [L]
然后创建robots_xyz.txt:
User-agent: *
Disallow: /
关于seo - 我如何告诉谷歌不要完全抓取域，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/28861721/