python - Google Cloud Composer 安装依赖项的时间太长

Question

我正在关注 Google Cloud Composer 的文档到 install Python dependencies from PyPI在一个环境中。我使用此命令从需求文件安装库:

$ gcloud composer environments update $ENV_NAME \
    --update-pypi-packages-from-file requirements.txt \
    --location us-east4

这只是一个测试，这个需求文件只有4个库需要安装，但是执行这个命令需要20多分钟才能完成。所以我尝试使用用户界面并从那里安装一个包，但几乎花费了相同的时间。
有些东西对我来说没有意义，当我执行这些命令时，环境进入“更新状态”，并需要几分钟才能再次准备好。为什么 Composer 需要这么长时间才能执行 pip install ?
有没有人已经遇到过类似的问题？如何管理 Composer 中 Python 依赖项的安装？

Answer 1

Cloud Composer 环境需要很长时间才能更新的原因是该服务在 Google Kubernetes Engine 和 App Engine(用于网络服务器)中的分布式设置中部署 Airflow。这意味着该服务必须负责构建/重建容器镜像、将它们重新部署到您的集群、更新网络服务器应用程序等。

虽然这确实意味着安装软件包或对环境进行更新可能需要一些时间，但这正是 Composer 易于使用的原因 - 为您提供相当于 pip install 的一次性解决方案。即使你有几十个工作节点。