这里我使用 setup.py 为我的数据流作业安装依赖项, 但在 GCP Dataflow Stackdriver 错误日志中,我在下载包时收到错误。
当我在本地运行时,下面的代码是否可以访问它们,而与链接到哪个工件或 pip 服务器数据流无关?
from __future__ import absolute_import
from setuptools import setup, find_packages
setup(name='DataflowpipelineDependencies',
version='0.1',
description='Dependencies',
install_requires=[
'google-cloud-storage==1.16.1',
'jsonschema==2.6.0',
'vm-cloudevents==0.1.0' // Private artifactory package
],
packages = find_packages()
)
最佳答案
您可以使用--setup_file
上传您的依赖项选项。
关于python - setup.py 是否确实将包加载到 GCP Dataflow 中?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57712404/