我的网站包含一些受限内容。我希望我的网站出现在搜索结果中，但我不希望它公开。
有没有一种方法可以让抓取工具抓取我的网站但阻止他们公开网站？
我找到的最接近的解决方案是 Google First Click Free但即使是第一次也需要我展示内容。
最佳答案
为什么要允许人们搜索他们在单击链接后无法访问的页面？它在技术上可能会变得困难(如果用户代理包含“googlebot”，请检查您的身份验证代码，尽管如果人们想要您的内容足够糟糕，没有什么可以阻止他们伪造此用户代理)但基本上没有意义。
此外，谷歌的官方说法(IIRC，虽然在任何地方都找不到)是您可能会因故意向 googlebot 显示与人类用户看到的内容不同的内容而受到惩罚。
关于seo - 我可以在不公开的情况下允许(通过搜索引擎)索引受限内容吗？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/3956822/