我正在编写一个小的 php 脚本，我有一些这样的链接
*-phones-*.html
* 是我想禁止谷歌使用 robots.txt 索引此类链接的变量，这可能吗？
最佳答案
您没有禁止任何事情。 robots.txt 只是一套给网络爬虫的指南，他们可以选择是否遵循它们。
粗鲁的爬虫当然应该被 IP 禁止。但是您无法避免网络爬虫可能会遇到该页面。无论如何，您可以将它添加到您的 robots.txt 并且 googles 网络爬虫可能会服从。
关于seo - 如何忽略我网站中的某些链接？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/32827115/