python - 使用python下载大文件的最佳方法

Question

就速度、内存、CPU 而言，哪个库/模块最适合下载 500mb 以上的大文件？我也在考虑使用 pycurl。

Answer 1

当大小超过 500MB 时，人们必须担心数据完整性，而 HTTP 的设计并未考虑到数据完整性。

我宁愿使用 python 绑定(bind)进行 rsync(如果存在)，甚至使用 bittorrent，它最初是在 python 中实现的。 rsync 和 bittorrent 都解决了数据完整性问题。