http - 收到奇怪的 http 响应代码，但该网站实际上正在运行

Question

当我在代码中查看下面的 URL 或下面的其他 URL 时，它显示正常。当我在浏览器中按 F12 时，我在网络选项卡中没有看到任何异常，但是使用下面的代码我将获得响应代码 403 或 400。当我在这里使用响应代码检查器时 http://httpstatus.io/对于两个 URLS 都会返回 200 响应。

我得到一个 403 http://psychsignal.com/使用我下面的代码。

URL u = new URL("http://www.nasdaqomxnordic.com/"); //returns 400 response code
//u.toURI();  //to check the syntax
HttpURLConnection huc =  (HttpURLConnection)u.openConnection();
huc.setRequestMethod("GET");
//huc.setRequestMethod("HEAD");
huc.connect(); 
System.out.println(huc.getResponseCode());

如果有人有任何想法，谢谢!这实际上是我的第一篇文章!

Answer 1

我的猜测是对客户端的 User-Agent 设置了一些限制。一些测试似乎支持我的理论:

如果我使用 curl 默认用户代理:

# curl -I -H "User-Agent: curl/7.35.0" "http://www.nasdaqomxnordic.com/"
HTTP/1.1 400 Bad Request
Content-Type: text/html; charset=UTF-8
Cache-Control: no-cache
Pragma: no-cache
Expires: 0
Connection: close

如果我使用破解的标准浏览器代理字符串:

# curl -I -H "User-Agent: Mozilla/5.0" -0 "http://www.nasdaqomxnordic.com/"
HTTP/1.1 200 OK
Cache-Control: no-cache
Pragma: no-cache
Content-Length: 0
Content-Type: text/html;charset=UTF-8
Expires: Thu, 01 Jan 1970 00:00:00 GMT
Server: Microsoft-IIS/7.5
X-Powered-By: ASP.NET
Date: Wed, 22 Jul 2015 15:06:22 GMT
Connection: close

然后如果我使用 Java 代理字符串(这是我对您使用的内容的猜测):

# curl -I -H "User-Agent: Java/1.6.0_26" "http://www.nasdaqomxnordic.com/"
HTTP/1.1 400 Bad Request
Content-Type: text/html; charset=UTF-8
Cache-Control: no-cache
Pragma: no-cache
Expires: 0
Connection: close

只有“浏览器”用户代理才能通过。我会尝试调整您的代码以设置 user agent string to something commonly found in a web browser .