http-headers - 用于限制 Google Search Appliance bot (gsa) 的 HTTP 响应代码

Question

应该使用什么 HTTP 响应代码来限制行为不当的网络爬虫:

• 403 Forbidden
• 503 Service Unavailable

是否应该在标题或正文中返回任何解释？

Answer 1

实际上，推荐的(RFC6585)http状态是429 Too Many Requests .例如，它用于 Twitter REST API Rate Limiter。 .

但是，GSA 将在内部 return 503 Service Unavailable如果你flood it with requests ，因此 IMO 可以安全地假设它也期望外部站点以相同的方式运行。

我选择了 503 Service Unavailable在我的 throttle 解决方案上。