scrapy - 通过Scrapy-Splash返回图像内容

标签 scrapy scrapy-splash scrapy-pipeline

我正在使用 Scrapy-Splash 请求来获取页面的渲染屏幕截图,但我还需要该页面上的图像。我使用管道下载这些图像,但我在想 - 这不会对同一个图像发出两个请求吗?当 Splash 渲染页面时一次,当我发送下载请求时一次。有没有办法获取 Scrapy-Splash 请求返回的图像?

最佳答案

您可以启用响应正文(使用 respone_body 参数或 splash.response_body_enabled=True),然后从 HAR 导出中提取图像。

关于scrapy - 通过Scrapy-Splash返回图像内容,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45193517/

相关文章:

Python Scrapy - 从多个网站 URL 中抓取数据

javascript - Scrapy-splash - 会溅起 :go(url) in lua_script perform GET request again?

python - 如何利用 Scrapy 中的项目管道,按照每个 Spider 类定义的特定顺序保留/导出字段项目

python - 用 Scrapy 获取 "ParseError"

python - 在不阻塞进程的情况下启动 scrapy multiple spider

python - 请求 URL 中缺少方案

python - Scrapy 选择器不适用于 Splash 响应

python - Scrapy-Splash 是如何实现 Proxy Profiles 的?

Scrapy:升级管道发送元素