php - 某些网站的 cURL 超时，但在其他网站上运行良好

Question

我正在尝试获取博客的源代码。

无论我是从 PHP 还是从命令行尝试都没有关系。两者都超时。也尝试过get_file_contents()但同样的问题

问题

当我尝试这个命令时:

curl http://blogg.se -m 5 --verbose

我明白了:

* About to connect() to blogg.se port 80 (#0)
*   Trying 82.96.60.8... connected
> GET / HTTP/1.1
> User-Agent: curl/7.22.0 (x86_64-pc-linux-gnu) libcurl/7.22.0 OpenSSL/1.0.1 zlib/1.2.3.4 libidn/1.23 librtmp/2.3
> Host: blogg.se
> Accept: */*
>
* Operation timed out after 5001 milliseconds with 0 bytes received
* Closing connection #0
curl: (28) Operation timed out after 5001 milliseconds with 0 bytes received

But if I try with another url:

curl http://ip.nu -m 5 --verbose

它运行完美。

我以为我可能会被禁止，但我也尝试过使用带有代理的curl，但仍然超时。

我可以毫无问题地 ping blogg.se。

我还在 php 脚本中更改了用户代理。

这是我的 PHP

$url = "http://blogg.se/";

$curl = curl_init(); 

$header[0] = "Accept: text/xml,application/xml,application/xhtml+xml,"; 
$header[0] .= "text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5"; 
$header[] = "Cache-Control: max-age=0"; 
$header[] = "Connection: keep-alive"; 
$header[] = "Keep-Alive: 300"; 
$header[] = "Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7"; 
$header[] = "Accept-Language: en-us,en;q=0.5"; 
$header[] = "Pragma: ";

curl_setopt($curl, CURLOPT_URL, $url); 
curl_setopt($curl, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.2.3) Gecko/20100401 Firefox/3.6.3'); 
curl_setopt($curl, CURLOPT_HTTPHEADER, $header); 
curl_setopt($curl, CURLOPT_REFERER, 'http://www.google.com'); 
curl_setopt($curl, CURLOPT_ENCODING, 'gzip,deflate'); 
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($curl, CURLOPT_VERBOSE, TRUE);
curl_setopt($curl, CURLOPT_FRESH_CONNECT, 1);
curl_setopt($curl, CURLOPT_MAXREDIRS,50);
curl_setopt($curl, CURLOPT_TIMEOUT, 10); 
$info = curl_getinfo($ch);

$html = curl_exec($curl);
if (!$html) 
{
    echo "cURL error number:" .curl_errno($curl);
    echo "cURL error:" . curl_error($curl);
    exit;
}

curl_close($curl);

echo $html;

在这台服务器上，我正在运行带有 nginx、php-fpm 和 varnish 的 ubuntu

PHP 版本 5.3.10-1ubuntu3.5 - cURL 版本 7.22.0

它正在我在亚马逊上拥有的一个微型实例上运行(上面的两个网址)，配置几乎相同 - 除了版本之外。

PHP 版本 5.3.6-13ubuntu3.9 - cURL 版本 7.21.6

它也可以使用相同的 php 脚本从 Windows/apache 上的本地主机工作。

---

我已经尝试过 cookiejar 和 cookiefile，但由于我没有得到响应，所以我也没有得到 cookie。还尝试将 CURLOPT_SSL_VERIFYPEER 设置为 false。

我还能尝试什么吗？

我还注意到我无法 ping 通我的新服务器，但可以 ping 通亚马逊服务器。

所以我禁用了ufw防火墙，然后我通过ping得到了响应，但curl仍然不起作用。

Answer 1

由于远程 HTTP 服务器未在您请求的超时期限内发回响应，因此您出现超时。确实就是这么简单。实际上，正如错误消息所示，它在这 5 秒内甚至没有发送单个字节。

您是否能够 ping 它完全无关紧要，因为 ping 是一条 ICMP 消息，与站点 Web 服务器的 HTTP 响应非常不同。

现在，您当然会问的问题是为什么服务器不响应您的请求，在不了解更多信息的情况下很难判断。这可能很简单，因为您之前行为不端，服务器忽略了您，它可能只是速度很慢，也可能是其他几个原因之一......