我有一个网站，其中包含我的公开个人资料，用 Jekyll 制作。
它还包含一个页面，例如“details.html”，其中包含有关我的更多个人信息。我只希望那些我给出链接的人看到这个页面。特别是，我想对搜索引擎隐藏它。
我怎样才能最好地做到这一点？我听说我可以添加 robots.txt 文件或包含元标记“nofollow”或“noindex”。
- 这里通常的解决方案是什么？
- 如果要走的路是添加元标记，我如何在标准 Jekyll 设置的情况下仅在一个页面中添加它？
最佳答案
robots.txt是告诉搜索引擎索引什么和不索引什么的标准方式(不仅适用于 Jekyll，也适用于一般网站)。
只需创建一个名为 robots.txt 的文件在 Jekyll 站点的根目录中，包含不应编入索引的路径。
例如
User-agent: *
Disallow: /2017/02/11/post-that-should-not-be-indexed/
Disallow: /page-that-should-not-be-indexed/
Allow: /
Jekyll 将自动复制 robots.txt到生成站点的文件夹。
您还可以测试您的robots.txt确保它按您期望的方式工作:https://support.google.com/webmasters/answer/6062598?hl=en
2021-08-02 更新 - Google 特定设置:
您可以通过添加 noindex 来阻止页面出现在 Google 搜索中。页面 HTML 代码中的元标记，或返回 noindex HTTP 响应中的 header
有两种实现方式noindex : 作为元标记和 HTTP 响应 header 。它们具有相同的效果；选择对您的网站更方便的方法。
<meta>标签
为防止大多数搜索引擎网络爬虫将您网站上的页面编入索引，请将以下元标记放入 <head>您页面的部分:
<meta name="robots" content="noindex">
要防止只有 Google 网络爬虫将页面编入索引:
<meta name="googlebot" content="noindex">
HTTP 响应 header
除了元标记，您还可以返回 X-Robots-Tag值为 noindex 的 header 或 none在您的回复中。这是一个带有 X-Robots-Tag 的 HTTP 响应示例。指示爬虫不要索引页面:
HTTP/1.1 200 OK
(...)
X-Robots-Tag: noindex
(...)
更多详情:https://developers.google.com/search/docs/advanced/crawling/block-indexing
关于jekyll - 如何告诉 Jekyll 对搜索引擎隐藏一页？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/47082969/