阻止任何机器人访问 https://页面的语法是什么？我有一个旧网站，现在没有 SSL，我想阻止访问所有 https://页面
最佳答案
我不知道它是否有效，机器人是否为不同的协议(protocol)使用/请求不同的robots.txt。但您可以为通过 HTTPS 的请求提供不同的 robots.txt。
因此，当请求 http://example.com/robots.txt 时，您将传递正常的 robots.txt。当请求 https://example.com/robots.txt 时，您将提供禁止一切的 robots.txt。
关于Robots.txt 阻止访问所有 https ://pages，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/788974/