python - 使用 python 向 aspx 页面提交查询并抓取结果?

标签 python screen-scraping beautifulsoup

我正在尝试获取对此人口统计工具页面的一批查询的结果:http://adlab.microsoft.com/Demographics-Prediction/DPUI.aspx

表单上的 POST 操作调用同一页面 (_self),并且可能正在发布一些事件数据。我在 stackoverflow 上的另一篇文章中读到,aspx 页面通常需要一些 View 状态和验证数据。我是否只需从请求中保存这些内容,然后在 POST 请求中重新发送?

或者有更干净的方法来做到这一点吗?其中一个 aspx View 状态参数大约有 1000 个字符,将其粘贴到我的代码中令人难以置信的丑陋让我认为必须有更好的方法。任何对我能读到的内容的引用都会有帮助,谢谢!

最佳答案

也许mechanize可能有用。

关于python - 使用 python 向 aspx 页面提交查询并抓取结果?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/2059822/

相关文章:

python - Pycharm:将文件夹标记为 'sources root' 对于子文件夹不是递归的

Python如何获取一张图像中使用的颜色列表

python - Eventlet/通用异步 I/O 任务粒度

python - 从包含在 ajax 驱动的弹出框中的工具提示中刮取文本

python - BeasutifulSoup4 中的导航

python - BeautifulSoup find_all() 不返回任何内容 []

python - pandas 从头部和尾部获取 k 个条目

php - 如何在 PHP 中实现网络爬虫?

python - 无法从 zillow 网站上删除某些元素

Python urllib2响应404错误但url可以打开