我目前在我的 robots.txt 中使用以下代码来禁止任何爬虫访问我的网站。但我只想有一个异常(exception)，那就是 Google AdSense 的抓取工具。
这是我的代码:User-agent: * Disallow: /Google 的 AdSense 抓取工具名为“Mediapartners-Google”。
如何将其添加为异常(exception)，并继续阻止所有其他爬虫？
谢谢，伙计们!
最佳答案
这可能是您正在寻找的内容:
User-agent: Mediapartners-Google Disallow:
User-agent: * Disallow: /
不能保证所有机器人都遵守这些规则。机器人在自愿的基础上遵守这些规则。所以“邪恶的”机器人很可能不会在意......
关于html - 如何在 robots.txt 中只允许一个代理？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/67580883/