<分区>
我一直在考虑是否禁止除 Ask、Google、Microsoft 和 Yahoo! 之外的所有抓取工具!来 self 的网站。
这背后的原因是我从未见过任何其他网络爬虫产生的流量。
我的问题是:
- 有什么理由不这样做吗？
- 有人做过吗？
- 您是否注意到任何负面影响？
更新:
到目前为止，我使用的是黑名单方法:如果我不喜欢爬虫，我将它们添加到禁止列表中。
然而，我不喜欢列入黑名单，因为这是一个永无止境的故事:那里总是有更多的爬虫。
我不太担心真正丑陋的行为不端的爬虫，它们会被自动检测和阻止。 (而且他们通常不会要求 robots.txt :)
然而，许多爬虫并没有任何行为不当，它们只是似乎没有为我/我的客户产生任何值(value)。
例如，有几个为网站提供支持的爬虫声称他们将成为下一个谷歌；只有更好。我从未见过来自它们的任何流量，而且我很怀疑它们会变得比上面提到的四个搜索引擎中的任何一个都好。
更新 2:
一段时间以来，我一直在分析几个网站的流量，对于合理的小型网站来说，似乎每天有 100 个独特的人类访问者(=我无法识别为非人类的访问者)。大约 52% 的生成流量是由自动化流程产生的。
60% 的自动访问者没有阅读 robots.txt，40%(占总流量的 21%) 确实请求 robots.txt。 (这包括 Ask、Google、Microsoft 和 Yahoo!)
所以我的想法是，如果我阻止所有似乎不会为我产生任何值(value)的行为良好的爬虫，我可以将带宽使用和服务器负载减少大约 12% - 17%。