我有一个包含许多网站的服务器， 当一些网站有巨大的更新时，搜索引擎会喜欢:
必应(特别)、Yandex、雅虎
使用许多IP地址来到服务器，他们不关注CPU负载和MySQL查询并尝试同时获取网页，
那么我怎样才能限制它们在整个服务器上
目前我屏蔽了这些搜索引擎IP 谢谢
最佳答案
您必须创建一个 robots.txt，以便搜索引擎能够读取它并知道不允许索引(抓取)您在其中指定的任何内容。
例如，对于 bing，这里有一个指南:https://www.bing.com/webmaster/help/how-to-create-a-robots-txt-file-cb7c31ec
关于mysql - 由于搜索引擎大量抓取导致CPU高负载，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/37583451/