http - 如何在robots.txt中添加 `nofollow, noindex`所有页面？

Question

我想在构建网站时将nofollow和noindex添加到我的网站。客户有要求我使用这些规则。
我知道

<meta name="robots" content="noindex,nofollow">

但是我只能访问robots.txt文件。
有人知道我可以通过noindex, nofollow文件应用robots.txt规则的正确格式吗？

Answer 1

noindex和nofollow表示您不希望您的网站在搜索引擎中爬网。
所以只需将代码放在robots.txt中

User-agent: *
Disallow: /

这意味着noindex和nofollow。