我的情况是我们有两个代码库需要保持完整..
示例:http://example.com。
还有一个新站点 http://www.example.com。
旧站点(无 WWW)支持一些遗留代码并具有以下规则:
User-agent: *
Disallow: /
但是在新版本(带有 WWW)中没有 robots.txt。
Google 是否将旧的(无 WWW)robots.txt 文件作为其规则？并将添加
User-agent: *
Allow: /
到(WWW)端覆盖这个？
目前无法在旧代码库中更改 robots.txt。
最佳答案
不，子域“www”。和子域“”是单独的子域，其中一个的 robots.txt 不用于另一个。
关于seo - Robots.txt http ://example. com 与 http ://www. example.com，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/1794149/