go - Chromedp 包 : How to get updated HTML source of the webpage which has dynamically loaded contents by using chromedp

标签 go web-scraping web-crawler headless-browser

我正在尝试抓取网页上的视频链接,https://www.tokopedia.com/chocoapple/ready-stock-bnib-iphone-128gb-7-plus-jet-black-garansi-apple-1-tahun-10?src=topads 有一些链接是通过“webyclip”服务生成的,该服务在页面加载后加载数据。我想要在加载所有 JavaScript 和 AJAX 后更新页面的 HTML 源代码(类似于我们在浏览器上执行“检查元素”时)。如何通过 chromedp 包 ( https://github.com/knq/chromedp ) 完成它。它是 GoLang 的 headless 浏览器。请帮忙。我是网络抓取的新手。

编辑:它与链接中提到的另一个问题不相似。因为这是特定于 chromedp 包的。评论中的那个询问如何/使用什么来抓取动态内容。

最佳答案

经过多次尝试,终于找到了方法,解决了我的疑问。 你可以查看我的GitHub此查询的存储库。 谢谢。

关于go - Chromedp 包 : How to get updated HTML source of the webpage which has dynamically loaded contents by using chromedp,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45938288/

相关文章:

python - Scrapy:跳过项目并继续执行

Goland 读取每行命令输出的衬垫

api - GoLang, slice 读出错误

python - 如何在 bs4 中使用以下分页抓取网站?

Rvest:获取节点文本而不是其子文本

python - 嵌入 youtube 视频抓取的链接

java - 线程数量增加

go - 如何解释 os.FileMode 的显示值?

go - 转换 slice 的字节而不复制

r - 使用R和XML包进行Web爬取