javascript - 使用 Python 通过 Javascript URL 自动下载文件

标签 javascript python download urllib2

我被指派从一个大量使用 Javascript 编码的网站 (https://www.quantcast.com/download/plannerCSV?&d0Id=01&sc=1&mr=10000&rs2=-1) 自动下载多个 csv 文件。有一个方便的“下载”按钮可以提示下载,我使用 Firebug 找到了该按钮的 URL:

https://www.quantcast.com/download/plannerCSV?&d0Id=10&sc=1&mr=10000

但是,据我所知,URL 必须以 .csv 结尾,以便 python 中的 urllib2 模块将其读取/写入到我的磁盘。有没有办法获取以 .csv 结尾的文件的 URL,以便我可以使用 python 自动下载?

我更喜欢使用 python 编写脚本,但是如果有另一种更明智/直接的方法来完成此任务,我很想知道。任何指导表示赞赏!谢谢=)

(编辑)澄清:我尝试下载的数据由一个巨大的(定期更新)列表组成,可以根据选中的复选框以多种不同的方式进行过滤。 URL 根据复选框而变化,因此我相信 URL 可能会调用 Javascript 调用,每次都会生成一个新的 csv 文件。

最佳答案

附加虚拟 GET 变量是否有效?对于某些事情——对我来说最明显的是关于图像文件的 Google Code wiki——它们需要文件扩展名并通过传递服务器不会使用的 GET 变量来实现这一点。像这样的东西:

https://www.quantcast.com/download/plannerCSV?&d0Id=10&sc=1&mr=10000&foo=.csv

我想查看一下,但我没有 Quantcast 帐户。

关于javascript - 使用 Python 通过 Javascript URL 自动下载文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/6326367/

相关文章:

C# 下载网页。需要更好的方法,CPU 使用率高

javascript - Mongoose .populate() 未填充

javascript - 当用户在模态窗口外单击时,如何使用 jquery 关闭 w3schools 示例中的模态窗口?

python - 在 ubuntu 12.04 中编译 statsmodels 示例

python - uWSGI+Flask+boto——线程安全

使用 copyInputStreamToFile 在控制台上下载 Java ApacheIO 文件进度

javascript - 在 Java 中使用 JavaScript Cookie 下载文件

javascript - 更改 JSON 时无法读取未定义的属性 'appendChild'

javascript - 使用 Strope js 连接到 Prosody XMPP 服务器 (CONNFAIL)

python - 使用 formset 时出现缩进错误