此机器人不尊重 robots.txt 中的 nofollow noindex。
我在 robots.txt 中有这个:
User-agent: Msnbot
Disallow: /
User-Agent: Msnbot/2.0b
Disallow: /
到目前为止，速度相当慢，但现在，它是一个根本不会离开我的网站的怪物。 24/7 抓取所有 WordPress 和 MyBB。
要阻止 IP 范围，或者我可以采取什么措施来阻止所有这些内容窃取者？
最佳答案
基于Block by useragent or empty referer你可以在 .htaccess 中添加类似的内容
Options +FollowSymlinks
RewriteEngine On
RewriteBase /
SetEnvIfNoCase User-Agent "^Msnbot" ban_agent
Deny from env=ban_agent
关于wordpress - 如何阻止过度访问我的网站的机器人？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/22128434/