php - 使用 PHP 检测爬行(搜索引擎的访问)

标签 php seo search-engine user-agent

当搜索引擎访问网页时,get_browser()函数和$_SERVER['HTTP_USER_AGENT']返回什么?

此外,PHP 在搜索引擎抓取网页时提供的其他可能证据是什么?

最佳答案

  • get_browser()函数尝试确定浏览器的功能(在数组中),但由于非标准用户代理,请不要过分依赖它;相反,对于一个严肃的应用程序,构建您自己的应用程序。

  • $_SERVER["HTTP_USER_AGENT"] 是一个“描述”用户浏览器的长字符串,可用作上述函数的第一个参数(可选); 提示:使用这个来发现用户的浏览器而不是 get_browser() 本身!还要为 丢失 用户代理做好准备!这个字符串的一个例子是这样的:
    Mozilla/5.0(Macintosh;U;PPC Mac OS X;en)AppleWebKit/418(KHTML,如 Gecko)Safari/417.9.3

  • 搜索引擎或机器人或蜘蛛或爬虫 follows the rules将根据 robots.txt 中存储的信息访问您的页面,该信息必须存在于您网站的根目录中。 如果没有 robots.txt,蜘蛛可以抓取整个网站,只要它在您的页面中找到链接;如果你有这个文件,你可以对它进行编程,以便告诉蜘蛛搜索什么注意:此规则仅适用于“好”蜘蛛而不适用于 bad ones

关于php - 使用 PHP 检测爬行(搜索引擎的访问),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/10854090/

相关文章:

php - PHP 中 Wget 的问题

php - isset() 从作为数组访问的字符串变量返回 true,使用任意键

regex - 301 .htaccess 从具有 "?"字符的 URL 重定向

php - 每次执行session_start时都有不同的 session ID

javascript - 使用数据在 Javascript 中重定向 (laravel 5.3)

css - 搜索引擎是否处理文本缩进 :-9999em or negative margin as SEO cheat?

seo - 自动语言翻译和 SEO

google-analytics - 禁止搜索引擎爬虫,但允许谷歌分析

wordpress - 将单个帖子移动到另一个域

seo - 如何确保垃圾帖子中的链接不会在搜索引擎结果中受益