facebookexternalhit/1.1 严重影响我的 WooCommerce 网站，导致 503 错误。每秒有这么多请求。我尝试使用 robots txt 减慢速度并设置 wordfence 速率限制。没有任何作用，有什么办法可以减慢速度而不阻止机器人吗？
以下是原始访问日志的几个示例。
GET /item/31117/x HTTP/1.0" 301 - "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php) GET /?post_type=cms_block&p=311 HTTP/1.0" 503 607 "-" "facebookexternalhit/1.1
GET /item/31117/xiaomi-redmi-router HTTP/1.1" 200 48984 "-"
最佳答案
如果有人在 Facebook 上分享您网站的链接，有时当有人查看该链接时(在 Facebook 上，他们不必单击它)，Facebook 将伸出援手并获取丰富的嵌入数据(opengraph 图像等)。 .)。如果你在网上搜索一下，这是一个众所周知的问题。
解决方案是对包含以下文本的任何用户代理进行速率限制: facebookexternalhit
爬虫不尊重robots.txt，它实际上可以在DDOS攻击中利用，有很多关于它的文章:
https://thehackernews.com/2014/04/vulnerability-allows-anyone-to-ddos.html https://devcentral.f5.com/s/articles/facebook-exploit-is-not-unique
他们不尊重 robots.txt，因此您必须进行速率限制。我对 Woocommerce 不熟悉，但您可以根据您使用的情况搜索“Apache 速率限制”或“nginx 速率限制”，并找到许多好文章。
我最近收到了一次 DDOS 攻击，他们同时将其与 Facebook 的攻击方法结合起来，Facebook ASN AS32934，在 1 秒内击中了 1,060 个 URL。
我刚刚禁止了整个 ASN，问题就解决了。
关于woocommerce - facebookexternalhit/1.1 机器人请求过多，需要放慢速度，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/63330082/