Python:快速下载多个文件

标签 python multithreading python-2.7 download urllib

在Python中如何快速下载一堆文件? urllib.urlretrieve() 非常慢,我不太确定如何解决这个问题。

我有一个包含 15-20 个文件的列表需要下载,仅下载一个就需要很长时间。每个文件大约 2-4 mb。

我以前从未这样做过,而且我不太确定应该从哪里开始。我应该使用线程并一次下载几个吗?或者我应该使用线程来下载每个文件的各个部分,但一次一个文件,或者我什至应该使用线程?

最佳答案

urllib.urlretrieve() is very slow

真的吗?如果您有 15-20 个文件,每个文件大小为 2-4mb,那么我只需将它们排列起来并下载即可。瓶颈将成为您的服务器和您自己的带宽。所以恕我直言,在这种情况下几乎不值得进行线程或尝试任何聪明的事情......

关于Python:快速下载多个文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/14014498/

相关文章:

python - Pygame 如何在按下按键时显示 "place"图像

python - 如何添加将显示来自 2 个不同子图的数据的单个 colobar

python - DrawingArea 无法获取 XID

C#相当于java的等待和通知?

c# - C# 查询中的多线程

python - 基于 Django 类的 View - 线程问题?

python - 从Python中的字符串中提取日期

python - 用列表中的一项替换字符串中的一项

google-app-engine - 从 Jinja2 下拉菜单将变量传递给 Python

python - 在没有 setup.py 的情况下安装 github 包?