在Python中如何快速下载一堆文件? urllib.urlretrieve()
非常慢,我不太确定如何解决这个问题。
我有一个包含 15-20 个文件的列表需要下载,仅下载一个就需要很长时间。每个文件大约 2-4 mb。
我以前从未这样做过,而且我不太确定应该从哪里开始。我应该使用线程并一次下载几个吗?或者我应该使用线程来下载每个文件的各个部分,但一次一个文件,或者我什至应该使用线程?
最佳答案
urllib.urlretrieve() is very slow
真的吗?如果您有 15-20 个文件,每个文件大小为 2-4mb,那么我只需将它们排列起来并下载即可。瓶颈将成为您的服务器和您自己的带宽。所以恕我直言,在这种情况下几乎不值得进行线程或尝试任何聪明的事情......
关于Python:快速下载多个文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/14014498/