我正在构建这个网站，其中包含许多无法在移动设备上正常工作的效果，因此我们构建了一个简单的 html 版本，当设备不支持所有效果时，我们会在其上重定向设备。
Normal version URL: www.mysite.com/#some_page_name
Simple version URL:www.mysite.com/static.php?p=some_page_name
问题是我们不希望 Google、Bing 和 Yahoo 在搜索结果中提供简单版本的 URL，我们总是希望人们登陆网站的普通版本。
是否可以通过 Apache、PHP 或 JS 告诉搜索引擎机器人忽略所有以 static.php 开头的 URL？
最佳答案
将其放入您的 robots.txt 文件中:
User-agent: *
Disallow: /static.php
这不仅可以使页面远离机器人索引，还可以防止它们一起抓取它们。
关于php - SEO 排除特定文件夹/页面，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/11417090/