python - 无需浏览器的导航实用程序,重量轻且防故障

标签 python selenium scrapy selenium-webdriver phantomjs

我有一个用例,我需要在网站上填写表格,但无法访问 API。目前我们正在将 webdriver 与浏览器一起使用,但它变得非常笨重并且不是万无一失的,因为该过程是异步的。有没有什么方法可以在没有浏览器的情况下完成,并通过密切监视挂起的请求使进程同步?

Casperjs 和 htmlunitsdriver 似乎是我拥有的一些最佳选择。有人可以在维护、防故障、重量轻方面解释优点或缺点。

我需要浏览复杂且许多不同类型的网页。我想浏览的一些网页主要由 JS 驱动。

Scrapy 可以用于此目的吗?

最佳答案

使用 Htmlunitdriver。为了使其成为失败证明,您必须相应地进行一些更改。但它可以在没有浏览器的情况下工作。

关于python - 无需浏览器的导航实用程序,重量轻且防故障,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/13873719/

相关文章:

python - 使用 Pandas 检查两列中的任何一列中是否存在值

python - 使用协议(protocol)参数对包装函数进行类型检查

python - 设置 restrict_xpaths 设置后出现 UnicodeEncodeError

python - scrapy中如何提取准确的标签

python - 填充包含全零的行的最快方法

python - 在 Python 中下载之前获取文件的大小

Java 使用 Selenium 等待页面加载

javascript - 使用配置文件路径打开 firefox [selenium webdriver NodeJS]

javascript - 在selenium测试用例中,如何选择输入类型文件中的文件

python - 制作 scrapy.Request 确定性?