当我使用 Selenium 时，我可以看到浏览器 GUI，是否可以使用 scrapy 或 scrapy 严格基于命令行？
最佳答案
不，scrapy 不支持。
Scrapy是为网络爬虫设计的，而Selenium是为浏览器自动化测试而设计的。如果您为网络爬虫的每个请求打开一个浏览器，将会消耗大量资源。
如果您打算抓取动态内容，可以引用这里:Can scrapy be used to scrape dynamic content from websites that are using AJAX?
关于python - scrapy 可以像 Selenium 一样控制和显示浏览器吗？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/33510814/