python - PyPI 很慢。如何运行自己的服务器？

Question

当一个新的开发者加入团队，或者 Jenkins 运行一个完整的构建时，我需要创建一个新的 virtualenv。我经常发现使用 Pip 和大量(超过 10 个)需求设置 virtualenv 需要很长时间才能从 PyPI 安装所有内容。 通常它会完全失败:

Downloading/unpacking Django==1.4.5 (from -r requirements.pip (line 1))
Exception:
Traceback (most recent call last):
  File "/var/lib/jenkins/jobs/hermes-web/workspace/web/.venv/lib/python2.6/site-packages/pip-1.2.1-py2.6.egg/pip/basecommand.py", line 107, in main
    status = self.run(options, args)
  File "/var/lib/jenkins/jobs/hermes-web/workspace/web/.venv/lib/python2.6/site-packages/pip-1.2.1-py2.6.egg/pip/commands/install.py", line 256, in run
    requirement_set.prepare_files(finder, force_root_egg_info=self.bundle, bundle=self.bundle)
  File "/var/lib/jenkins/jobs/hermes-web/workspace/web/.venv/lib/python2.6/site-packages/pip-1.2.1-py2.6.egg/pip/req.py", line 1018, in prepare_files
    self.unpack_url(url, location, self.is_download)
  File "/var/lib/jenkins/jobs/hermes-web/workspace/web/.venv/lib/python2.6/site-packages/pip-1.2.1-py2.6.egg/pip/req.py", line 1142, in unpack_url
    retval = unpack_http_url(link, location, self.download_cache, self.download_dir)
  File "/var/lib/jenkins/jobs/hermes-web/workspace/web/.venv/lib/python2.6/site-packages/pip-1.2.1-py2.6.egg/pip/download.py", line 463, in unpack_http_url
    download_hash = _download_url(resp, link, temp_location)
  File "/var/lib/jenkins/jobs/hermes-web/workspace/web/.venv/lib/python2.6/site-packages/pip-1.2.1-py2.6.egg/pip/download.py", line 380, in _download_url
    chunk = resp.read(4096)
  File "/usr/lib64/python2.6/socket.py", line 353, in read
    data = self._sock.recv(left)
  File "/usr/lib64/python2.6/httplib.py", line 538, in read
    s = self.fp.read(amt)
  File "/usr/lib64/python2.6/socket.py", line 353, in read
    data = self._sock.recv(left)
timeout: timed out

我知道 Pip 的 --use-mirrors 标志，有时我团队中的人使用 --index-url http://f.pypi 解决了这个问题。 python.org/simple (或另一个镜像)，直到他们有一个及时响应的镜像。我们在英国，但在德国有一个 PyPI 镜像，我们从其他站 pip 下载数据没有问题。

所以，我正在为我们的团队寻找在内部镜像 PyPI 的方法。

我看过的选项是:

1. 运行我自己的 PyPI 实例。有官方的 PyPI 实现:CheeseShop以及一些第三方实现，例如:djangopypi和 pypiserver (见脚注)

   这种方法的问题是我对文件上传的完整 PyPI 功能不感兴趣，我只想镜像它提供的内容。

2. 使用 pep381client 运行 PyPI 镜像或 pypi-mirror .

   这看起来可以工作，但它需要我的镜像首先从 PyPI 下载所有内容。我已经设置了 pep381client 的测试实例，但我的下载速度在 5 Kb/s 和 200 Kb/s 之间变化(位，而不是字节)。除非某处有完整 PyPI 存档的副本，否则我需要数周时间才能拥有一个有用的镜像。

3. 使用 PyPI 循环代理，例如 yopypi .

   这已经无关紧要了，http://pypi.python.org本身由 several geographically distinct servers 组成.

4. 在开发者之间复制虚拟环境，或托管 folder of the current project's dependencies .

   这无法扩展:我们有几个不同的 Python 项目，它们的依赖关系会随着时间(缓慢地)发生变化。一旦任何项目的依赖关系发生变化，就必须更新这个中央文件夹以添加新的依赖关系。复制 virtualenv 比复制包更糟糕，因为任何带有 C 模块的 Python 包都需要为目标系统编译。我们的团队同时拥有 Linux 和 OS X 用户。

   (这看起来仍然是一群坏人中的最佳选择。)

5. 使用智能 PyPI 缓存代理:collective.eggproxy

   这似乎是一个很好的解决方案，但是 the last version on PyPI is dated 2009并讨论 mod_python。

其他大型 Python 团队是做什么的？快速安装同一套python包的最佳方案是什么？

脚注:

• 我看到了 How to roll my own PyPI? 的问题，但这个问题与托管私有(private)代码有关。
• Python 维基 lists alternative PyPI implementations
• 我最近还发现了Crate.io但我认为这在使用 Pip 时对我没有帮助。
• 有网站监控PyPI mirror status
• Some packages on PyPI have their files hosted elsewhere所以即使是完美的镜像也无法帮助所有依赖项

Answer 1

您有共享文件系统吗？

因为我会使用 pip 的缓存设置。这很简单。例如，在/mnt 中创建一个名为 pip-cache 的文件夹。

mkdir /mnt/pip-cache

然后每个开发者都会在他们的 pip 配置中加入下面一行 (unix = $HOME/.pip/pip.conf, win = %HOME%\pip\pip.ini)

[global]
download-cache = /mnt/pip-cache

它仍然检查 PyPi，寻找最新版本。然后检查该版本是否在缓存中。如果是这样，它会从那里安装它。如果没有，它会下载它。将其存储在缓存中并安装它。所以每个包在每个新版本中只能下载一次。