python - 如何从主机共享 python 库到多个 docker 容器？

Question

我们设置了多个运行 python 微服务的 docker 容器。问题是许多库在容器中都是冗余的。由于 docker 隔离，所有的库都独立安装在每个容器中，这增加了 docker 镜像的大小。
那么，有没有一种方法可以通过在共享文件夹或任何其他解决方案中安装所有库来跨多个容器共享 python 库，保持代码仍然隔离但允许使用共享库？
Dockerfile1:

FROM python:3.8.5-slim

RUN apt-get update && \ 
        apt-get install -y \
        git openssh-server 

# Avoid cache purge by adding requirements first
RUN git clone git@github.com:some_org/some_repo_1.git
WORKDIR ./some_repo_1/

RUN pip3 install --upgrade pip
RUN pip3 install -r requirements.txt

EXPOSE 80

CMD ["uvicorn", "main:app", "--host", "0.0.0.0", "--port", "80"]

Dockerfile2:

FROM python:3.8.5-slim

RUN apt-get update && \ 
        apt-get install -y \
        git openssh-server 

# Avoid cache purge by adding requirements first
RUN git clone git@github.com:some_org/some_repo_2.git
WORKDIR ./some_repo_2/

RUN pip3 install --upgrade pip
RUN pip3 install -r requirements.txt

EXPOSE 81

CMD ["uvicorn", "main:app", "--host", "0.0.0.0", "--port", "81"]

docker-compose.yml

version: "3.9"
services:
        service_1:
                build:
                        context: './some_repo_1/'
                ports:
                        - '80:80'

        service_2:
                build:
                        context: './some_repo_2/'
                ports:
                        - '81:81'

注意:我们必须部署许多不同的微服务 docker 容器，它们具有相似的依赖关系。所以docker镜像大小是一个主要问题。
PS:我正在使用 docker-compose 来运行多个 docker 容器。

Answer 1

假设您可以将您的需求拆分为一个“通用”集合，以及一些附加的每个应用程序的依赖项。在非 Docker 环境中，您可能会运行:

python3 -m venv venv1
./venv1/bin/pip install ./requirements-common.txt
./venv1/bin/pip install ./some_repo_1/requirements.txt
./venv1/bin/uvicorn ...
# and similarly for venv2, some_repo_2

您可以构建自己的中间 Docker 镜像，该镜像仅包含公共(public)库:

FROM python:3.8.5-slim
WORKDIR /app
COPY requirements-common.txt .
RUN pip install -r requirements-common.txt

docker build -t my/app-base .

然后，当您构建每个应用程序的镜像时，您可以将其作为基础镜像并预先安装该库集。 Docker 分层的工作方式，底层库集将在各种派生镜像之间共享。

FROM my/app-base
# Inherits WORKDIR /app
COPY requirements.txt .
RUN pip install -r requirements.txt
COPY . .
EXPOSE 81
CMD ["uvicorn", "main:app", "--host", "0.0.0.0", "--port", "81"]

Compose 对这种模式没有任何特定的支持。如果中间镜像仅包含一组很少更改的预安装库，则手动 docker build 可能最容易。根据需要，并使用 docker-compose.yml你有这个问题。