我被指派从一个大量使用 Javascript 编码的网站 (https://www.quantcast.com/download/plannerCSV?&d0Id=01&sc=1&mr=10000&rs2=-1) 自动下载多个 csv 文件。有一个方便的“下载”按钮可以提示下载,我使用 Firebug 找到了该按钮的 URL:
https://www.quantcast.com/download/plannerCSV?&d0Id=10&sc=1&mr=10000
但是,据我所知,URL 必须以 .csv 结尾,以便 python 中的 urllib2 模块将其读取/写入到我的磁盘。有没有办法获取以 .csv 结尾的文件的 URL,以便我可以使用 python 自动下载?
我更喜欢使用 python 编写脚本,但是如果有另一种更明智/直接的方法来完成此任务,我很想知道。任何指导表示赞赏!谢谢=)
(编辑)澄清:我尝试下载的数据由一个巨大的(定期更新)列表组成,可以根据选中的复选框以多种不同的方式进行过滤。 URL 根据复选框而变化,因此我相信 URL 可能会调用 Javascript 调用,每次都会生成一个新的 csv 文件。
最佳答案
附加虚拟 GET 变量是否有效?对于某些事情——对我来说最明显的是关于图像文件的 Google Code wiki——它们需要文件扩展名并通过传递服务器不会使用的 GET 变量来实现这一点。像这样的东西:
https://www.quantcast.com/download/plannerCSV?&d0Id=10&sc=1&mr=10000&foo=.csv
我想查看一下,但我没有 Quantcast 帐户。
关于javascript - 使用 Python 通过 Javascript URL 自动下载文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/6326367/