python - Scrapy 可以和 Chrome 浏览器一起使用吗？

Question

我需要抓取一个由 javascript 呈现的 AngularJS 应用程序的网页。该站点的开发人员在隐私浏览模式下检测到 Safari/Firefox 并禁止使用，因此被删除。当您未处于私有(private)模式时，该页面可与 Safari/Firefox 配合使用。

有趣的是，无论是否在隐私模式下使用 Chrome 时，都不会给出此类警告。我使用的是 Scrapy+Selenium，但我真的希望在这个项目中使用 ScrapyJS/Splash。然而，Scrapy/Splash 组合似乎受到网站隐私浏览墙的影响。

是否可以告诉 Scrapy 使用 Chrome？我知道 Selenium 有很多驱动程序，关于如何使用每个驱动程序的文档也很详细，但是我找不到任何关于 Scrapy 是否支持其他浏览器或者其他人是否已经这样做的信息。 Google/SO 搜索也没有为我阐明这一点。

Answer 1

Starting from Splash 2.0 ，您可以禁用私有(private)模式(默认情况下为“开启”)。

有两种方法:

• 在启动时，使用 --disable-private-mode 参数，例如，如果您使用的是 Docker:

  $ sudo docker run -p 5023:5023 -p 8050:8050 -p 8051:8051 scrapinghub/splash --disable-private-mode
  

• 在运行时使用/execute 端点并设置splash.private_mode_enabled=false

另外，请注意禁用私有(private)模式的影响:

Note that if you disable private mode browsing data such as cookies or items kept in local storage may persist between requests.