我有一个包含大量新闻的新闻聚合网站... 如果主页上的单个新闻有文本，则该链接会重定向到源站点 www.site.com/red/23545，但如果同一新闻没有任何文本，只有标题，那么它会获得此链接这不是重定向，而是转到我网站上的另一个页面 www.site.com/23545/some_news_title
因此，相同的新闻可以在某些页面上带有文本，然后在源页面或某些只有标题的页面上被重定向，并获得指向站点内页面的正常链接。
问题是谷歌正在索引重定向链接 (www.site.com/red/23545)。
我加了
Disallow: /red/
到我的 robots.txt
我也加了
rel="nofollow"
所有重定向链接
但没有一个没有用......它仍然被编入索引......
我使用重定向链接的原因是为了防止我的网站被屏幕抓取。如果有人在没有我的域作为引荐来源网址的情况下继续重定向链接，他将被重定向到我的站点而不是新闻源页面。 ..
如有任何帮助，我们将不胜感激。
谢谢!
最佳答案
您可以在重定向页面上添加以下 header 以防止它们被编入索引:
X-Robots-Tag: noindex
不过，令我惊讶的是您的 robots.txt 无法正常工作。您将 robots.txt 文件放在那里多久了？这些事情确实需要一些时间才能生效。您可以通过 Google 网站站长工具从 Google 索引中删除链接来加快此过程。
关于url - 禁止谷歌索引重定向网址，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/7306098/