我正在尝试使用以下命令从 PyPi 安装 Scrapy。
gcloud composer environments update $(AIRFLOW_ENVIRONMENT_NAME) \
--update-pypi-packages-from-file requirements.txt \
--location $(AIRFLOW_LOCATION)
requirements.txt是这样的。
google-api-python-client==1.7.*
google-cloud-datastore==1.7.*
Scrapy==2.0.0
运行gcloud命令后，会导致参数无效，但在本地环境中运行成功。
gcloud composer environments update xxxx \
--update-pypi-packages-from-file requirements.txt \
--location asia-northeast1
ERROR: (gcloud.composer.environments.update) INVALID_ARGUMENT: Found 1 problem:
1) Error validating key Scrapy. PyPi dependency name is not formatted properly. It must be lowercase and follow the format of 'identifier' specified in PEP-508.
有什么办法可以安装吗？
最佳答案
正如前面的答案所述，您现在收到的错误非常清楚，它是由依赖项格式错误引起的。它应该是 scrapy==2.0.0 而不是 requirements.txt 中的 Scrapy==2.0.0。
我想补充一点，为了避免修复格式时出现安装错误，您应该在列表中再添加一个依赖项，即 attrs==19.2.0。我能够通过指定以下列表将您的要求安装到我的环境中:
google-api-python-client==1.7.*
google-cloud-datastore==1.7.*
scrapy==2.0.0
attrs==19.2.0
关于google-cloud-platform - 在apache airflow中安装Scrapy会导致INVALID_ARGUMENT，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/60701726/