go - 如何使用 Golang 单击按钮进行 Web 抓取

标签 go web-scraping

<分区>

我正在尝试使用 Golang 抓取网站,为了获得更多内容,我需要点击 <button>等几秒钟。 (注意:本站没有分页)

我找到了一些很酷的包来进行网络抓取,例如:

  • 冲浪 (gopkg.in/headzoo/surf.v1)
  • goquery (github.com/PuerkitoBio/goquery)

但是我找不到如何点击按钮。

是否有可以做到这一点的?还是我需要使用 ChromeDriver/Headless Chrome 等

最佳答案

发现于:https://stackoverflow.com/a/26823658/4784357

在网络浏览器开发者工具中打开网络选项卡检查点击按钮时发生了什么以继续使用像goquery、surf等包。

在其他情况下,网络浏览器需要自动执行此类任务。

关于go - 如何使用 Golang 单击按钮进行 Web 抓取,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48996548/

相关文章:

multithreading - 你会如何定义一个 goroutines 池来一次执行?

parsing - 我如何解析 golang 中的非传统日期?

java - 根据 Nutch 中的条件获取后拒绝 url

javascript - 抓取引用 R 中外部 javascript 脚本的 Javascript 渲染网页

javascript - 如何网络抓取运动队投注线?

json - Golang 中的类型转换

json - Golang从S3读取JSON到内存中的结构

go - 简单的负载均衡器无法正常工作

json - 用尖叫 Frog 提取Json数据

javascript - 在python中,如何让scrapy返回隐藏元素的内容?