c# - 如何绕过 HttpWebRequest 检测？

Question

实际上我在玩 HtmlAgilityPack。

我注意到它可以解析来自 HtmlWebRequest 的 HTML。

我想知道有没有办法绕过“HttpWebRequest”检测？ 这是因为当我尝试使用 HttpWebRequest 获取 HTML 内容时，服务器似乎知道我正在使用“HttpWebRequest”并且不允许我检索其中的 HTML。

这是我的源代码:

protected void Page_Load(object sender, EventArgs e)
{
    var targetUrl = new Uri("http://www.aastocks.com/tc/ltp/rtquote.aspx?symbol=03800");
    var webReq = (HttpWebRequest)WebRequest.Create(targetUrl);
    WebResponse webRes = webReq.GetResponse();
    System.IO.Stream stream = webRes.GetResponseStream();
    System.Text.Encoding encode = System.Text.Encoding.GetEncoding("utf-8");
    System.IO.StreamReader reader = new System.IO.StreamReader(stream, encode);            
    HtmlDocument doc = new HtmlDocument();
    doc.Load(reader);
    foreach (HtmlNode link in doc.DocumentNode.SelectNodes("//html"))
    {
        Label1.Text += link.InnerHtml;
    }
}

我不是想做侵犯版权的事情，只是对此感到好奇。

Answer 1

没有HttpWebRequest检测之类的东西。

但是，您正在访问的页面可能并不那么简单:它可能由多个 HTTP 请求(iframe)加载，或通过 AJAX 加载，或者在请求中需要某些 HTTP header 。

我能建议的最好的事情是:跟踪浏览器和网站之间的 HTTP 流量(例如，使用 Fiddler )。然后跟踪您的应用程序(以编程方式发送请求)和同一网站之间的流量。

找出差异，让您的应用程序的行为与浏览器完全一样。