关闭。这个问题是off-topic .它目前不接受答案。
想改善这个问题吗? Update the question所以它是 on-topic对于堆栈溢出。
8年前关闭。
Improve this question
如何使用 cURL 向网站发出请求并让该网站相信我是一个搜索引擎。
最佳答案
您可以将您的用户代理设置为 Googlebot 的(有关 Google's KB 上使用的确切用户代理的更多信息):
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)');
但这可能并不总是有效!有些网站可能会选择Reverse DNS check任何自称是 Googlebot 的人。
关于curl - 如何用 curl 欺骗搜索引擎机器人?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/16608645/