我在 Google、Bing 等网站上收到了一些目录查询，我不一定希望全世界都看到这些目录。如何防止它抓取这些页面/目录？另外，如何删除以前的条目？
最佳答案
友好 网络爬虫(Google、Bing、Yahoo、Baidu 等)会尊重您的 robots.txt file .来自非常有用的示例 http://www.robotstxt.org/ :
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/
当然，如果您真的想要限制您的私有(private)内容，您最好使用网络服务器的 authentication and authorization tools或 restrict access by address .
关于search - 如何阻止搜索引擎查询站点的私有(private)目录？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/8514183/