我目前有一个脚本，它通过访问一个 url 然后从网站上抓取特定信息来抓取数据。我唯一担心的是，由于大约有 30,000 个页面需要抓取，它可能会在服务器上显示为 DDoS 攻击？最重要的是，我被推荐使用 Typhoeus gem for ruby 来基本上同时完成它们。所以我只是想知道这样可以吗？
最佳答案
DDoS 攻击不能由单台机器执行，因为 DDoS 意味着分布式拒绝服务。因此，在最坏的情况下，它可以被识别为 DoS 攻击，除非您使用大量线程来执行页面调用，否则这种情况不太可能发生。
您的 bot 使用的单个线程对于默认配置的 apache 甚至不是问题，因为我认为每个主机的连接数限制为 10。通过使用 1 个线程，您只会建立一个接一个的连接，因此您甚至永远不会达到一台主机的限制。普通浏览器在接收到 html 文件后，可能会默认通过下载网页资源来建立更多连接。总结一下:不，从网络服务器管理员的角度来看，您似乎不是攻击者。
关于ruby-on-rails - 我的脚本会发送很多请求吗？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/23755764/