如何停止谷歌对该页面的抓取 https://www.example.com/index.php/en/component/jomres/?Itemid=0&task=search&page=1&towns%5B0%5D=calangute在 jomres 中，是否可以在 robot.txt 文件或任何其他解决方案中执行？
最佳答案
是的，您可以通过添加以下行通过此页面的 robots.txt
Disallow : /index.php/en/component/jomres/?Itemid=0&task=search&page=1&towns%5B0%5D=calangute
上面一行只会屏蔽这个页面，如果你想屏蔽所有带有上面参数的页面，使用这个
Disallow : /index.php/en/component/jomres/?Itemid=*&task=*&page=*&towns%5B0%5D=*
这里我们将动态值更改为星号 *，您可以根据需要针对任何特定情况对其进行自定义。
关于seo - 如何停止抓取 jomres 中的特定页面？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/37650521/