go - 从给定与浏览器相同的参数的页面发出 GET 请求在 golang 上不起作用

标签 go debugging web-scraping request web-crawler

我正在尝试向 https://ccmspa.pinellascounty.org/PublicAccess/default.aspx 发出 GET 请求给定与浏览器相同的参数(标题),但它不仅在此页面中起作用;在任何其他页面都可以正常工作。
在浏览器上发出请求时,我得到 302 状态 enter image description here
但是,当在 golang 上使用相同的 header 发出请求时,它不起作用:
enter image description here

func Get() ([]*http.Cookie, error) {
    req, err := http.NewRequest("GET", ep, nil)
    if err != nil {
        log.Println(err)
        return nil, err
    }
    req.Header.Set("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9")
    req.Header.Set("Accept-Encoding", "gzip, deflate, br")
    req.Header.Set("Accept-Language", "en-US,en;q=0.9")
    req.Header.Set("Cache-Control", "no-cache")
    req.Header.Set("Connection", "keep-alive")
    req.Header.Set("Host", "ccmspa.pinellascounty.org")
    req.Header.Set("Pragma", "no-cache")
    req.Header.Set("Sec-Fetch-Dest", "document")
    req.Header.Set("Sec-Fetch-Mode", "navigate")
    req.Header.Set("Sec-Fetch-Site", "none")
    req.Header.Set("Upgrade-Insecure-Requests", "1")
    req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36")

    client := &http.Client{}
    response, err := client.Do(req)
    if err != nil {
        log.Println("err: ",err)
        return nil, err
    }
    log.Println("status: ", response.StatusCode)
    body, err := ioutil.ReadAll(response.Body)
    if err != nil {
        log.Println(err)
        return nil, err
    }

    ioutil.WriteFile("./data2.html", body, 0644)
    return nil, nil
}
这很奇怪,但最奇怪的是在使用 postman 时,我得到了 200 状态:
enter image description here
您能否帮我完成我需要做的设置。
非常感谢你。

最佳答案

这是因为客户端遵循重定向,所以为了不遵循重定向:

client := &http.Client{
        CheckRedirect: func(req *http.Request, via []*http.Request) error {
            return http.ErrUseLastResponse
        },
    }

关于go - 从给定与浏览器相同的参数的页面发出 GET 请求在 golang 上不起作用,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/63858923/

相关文章:

python - Scrapy 解析 javascript

go - 为什么我不能将此指针作为参数传递给其他函数?

regex - 有没有办法使用 Go.Regexp 匹配常量字符串以外的所有内容?

c - 一种将跟踪和回溯包含到 C 程序中的简单、统一和可移植的方法

node.js - 如何在 node.js 上调试 "Error: spawn ENOENT"?

php - 从网站上抓取带有 url 的 html

xml - Golang XML 解析

validation - Go - 用于验证的数据类型

.net - IL 级代码调试器

python - 抓取 Flipkart.com 的所有手机