我们公司有临时开发网址，正在被搜索引擎索引。我们需要通过全局 htaccess 文件来停止此操作。通过全局，我的意思是我想将此访问权限放入我们的根目录中，该根目录将为每个站点应用规则。每次我们建立一个新网站时，我不想在该文件夹中放置 htaccess 文件。
我不擅长编写 htaccess 规则，否则我会自己编写。我非常感谢社区的任何意见。
这是一个临时网址示例:1245.temp.oursite.com
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} AltaVista [OR]
RewriteCond %{HTTP_USER_AGENT} Googlebot [OR]
RewriteCond %{HTTP_USER_AGENT} msnbot [OR]
RewriteCond %{HTTP_USER_AGENT} Slurp
RewriteRule ^.*$ "http\:\/\/oursite\.com" [R=301,L]
我尝试过使用这个，但就像我上面所说的，我不擅长编写 htaccess 规则。
编辑 问题类似于this one ，但是我的涉及子域。
最佳答案
如果您不希望搜索引擎对网站建立索引，请将 robots.txt 文件添加到这些子域。它应该包含:
User-agent: *
Disallow: /
所有主要搜索引擎都遵守网络机器人标准。
关于php - 通过 htaccess 阻止子域爬虫，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/30308001/