go - 如何使用 Colly 在 Golang 中将字符串解析为 DOM 元素

标签 go web-scraping

我是 Go 的新手,我正在将它与 Colly 一起使用抓取一个网站,但我在使用 noscript 标签时遇到了一些问题,因为它没有被解析,只是作为一个字符串返回,所以我想将该字符串转换为一个 colly HtmlElement 以便能够将其查询为一个普通的标签。

我该怎么做?

我要抓取的网站是Chrome Web Store

最佳答案

我还没有真正找到创建 HTMLElement 的好方法,但是您可以转换为 Document 对象,并执行相同的查询执行(但是,这与 gocolly 无关)

var doc,_ = goquery.NewDocumentFromReader(strings.NewReader("<p><a>Your element</a></p>"))
doc.Filter("your selector here")

关于go - 如何使用 Colly 在 Golang 中将字符串解析为 DOM 元素,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52339920/

相关文章:

go - 无法在 main 以外的包内调用测试

Python 脚本有效但编译后失败 (Windows)

python - 网页抓取 : How to test if the root tag has a particular CSS class?

python - 发出请求时无法维护 session header 的顺序

Go strings.Replace(input, "\n", "", -1) 无法识别

google-app-engine - 制作独立于 Google App Engine 的 Go Webapp

go - 错误: cannot load values. yaml:将YAML转换为JSON时发生错误:yaml:第**行:找不到预期的 key

javascript - 在元标记中包含我需要在 javascript 中提取的信息

python - 无法访问位于目标元素之外的某些文本

go - 为什么 conn.Read() 不向 []byte 写入任何内容,但 bufio.Reader.ReadString() 有效?