python - 我可以用 Scrapy 填写网页表单吗?

标签 python web-scraping scrapy form-submit

现在我正在使用 iMacros 从网络中提取数据并填写提交数据的表单。

但是 iMacros 是一个昂贵的工具。我需要一个免费的图书馆,我已经阅读了有关数据挖掘的 Scrapy。我使用它进行编程有点复杂,但金钱至上。

问题是我是否可以用Scrapy填写html表单并提交到网页。我不想使用 Javascript,我只想使用 Python 脚本。

我在 http://doc.scrapy.org/ 中搜索但我没有发现任何关于表单提交的信息。

最佳答案

使用 scrapy.http.FormRequest 类。

FormRequest 类通过处理 HTML 表单的功能扩展了基本 Request

http://doc.scrapy.org/en/latest/topics/request-response.html#formrequest-objects

关于python - 我可以用 Scrapy 填写网页表单吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21929473/

相关文章:

python - 在启动时不使用配置文件将 JDBC 驱动程序添加到 PySpark

python - 改变列表的列表,如矩阵

scrapy - 如何在运行时监控scrapy的状态

python - 错误:tensorflow:Couldn't understand architecture name '.50_%image_size%'

python - 新的 DataFrame 是每天的平均值

python - HTTP 响应中使用了哪种 base64?

php - 编写一个程序来抓取论坛

clojure - 使用 enlive 时删除标记

Python Scrapy - 从多个网站 URL 中抓取数据

python - 已编辑 : How do I create a "Nested Loop" that returns an item to the original list in Python and Scrapy