我需要一些帮助。我不确定 mod_rewrite 和 robots.txt 请求的顺序。
某些网址属于重写规则:
/index.php?id=123 to /home
其他网址没有重写:
/index.php?id=444
我在 robots.txt 中添加了此条目:
User-agent: *
Disallow: /index.php?id
带有/home的网站会被搜索引擎索引吗？
最佳答案
robots.txt 文件由客户端(spider)解释，它们不知道您的系统中有哪些重写。因此，如果蜘蛛程序看起来像 robots.txt 中的模式，则它们不会从您的网站获取网址，但如果它们通过 /home 找到相同的内容，则会从您的网站获取网址。
关于.htaccess - 首先调用什么 - htaccess 中的 robots.txt 或 mod_rewrite，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/5317771/