我正在开发一个网站抓取器/屏幕抓取器,用于在皇家邮政网站上查找跟踪信息。不幸的是,皇家邮政不支持 API,所以这是这样做的方法。
无论我做什么,我都会遇到同样的异常。 (远程服务器返回错误:(500) 内部服务器错误。)
我的基本代码是:
class Program
{
static void Main(string[] args)
{
string url = "http://track.royalmail.com/portal/rm/track?catId=22700601&gear=authentication&forcesegment=SG-Personal";
byte[] response;
WebClient webClient = new WebClient();
response = webClient.DownloadData(url);
}
}
我使用 Fiddler 来调查浏览器进行的数据事务,以便在我的代码中模仿它。我可以看到皇家邮政使用 cookie,因此我尝试通过向其添加 cookie 处理程序来实现支持 cookie 的 WebClient:
public class CookieAwareWebClient : WebClient
{
private CookieContainer m_container = new CookieContainer();
protected override WebRequest GetWebRequest(Uri address)
{
WebRequest request = base.GetWebRequest(address);
if (request is HttpWebRequest)
{
(request as HttpWebRequest).CookieContainer = m_container;
}
return request;
}
}
但这并没有帮助 :-(
我还尝试通过 Royal Mails SSL 保护站点 ( https://www.royalmail.com/portal/sme/track?catId=62200738&mediaId=63900708 ) 查找跟踪信息,并将凭据实现到我的 C# 程序中,但没有成功。
我现在已经碰壁了,我不断遇到相同的教程/线程,但它们似乎对我没有任何帮助。
我希望那里有一个聪明的大脑:-)
最佳答案
如果您发送所有 header ,您应该停止收到 500 错误
string url = "http://track.royalmail.com/portal/rm/trackresults?catId=22700601&pageId=trt_rmresultspage&keyname=track_blank&_requestid=17931";
using(WebClient webClient = new WebClient()) {
webClient.Headers["User-Agent"] = "Mozilla/5.0 (Windows; U; Windows NT 6.0; en-US; rv:1.9.2.6) Gecko/20100625 Firefox/3.6.6 (.NET CLR 3.5.30729)";
webClient.Headers["Accept"] = "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8";
webClient.Headers["Accept-Language"] = "en-us,en;q=0.5";
webClient.Headers["Accept-Encoding"] = " gzip,deflate";
webClient.Headers["Accept-Charset"] = "ISO-8859-1,utf-8;q=0.7,*;q=0.7";
byte[] response = webClient.DownloadData(url);
}
关于c# - 从 HTTPS 站点下载数据时出现异常,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/4859813/