python - setup.py 是否确实将包加载到 GCP Dataflow 中?

标签 python apache-beam dataflow

这里我使用 setup.py 为我的数据流作业安装依赖项, 但在 GCP Dataflow Stackdriver 错误日志中,我在下载包时收到错误。

当我在本地运行时,下面的代码是否可以访问它们,而与链接到哪个工件或 pip 服务器数据流无关?

 from __future__ import absolute_import
 from setuptools import setup, find_packages

setup(name='DataflowpipelineDependencies',
  version='0.1',
  description='Dependencies',
  install_requires=[
    'google-cloud-storage==1.16.1',
    'jsonschema==2.6.0',
    'vm-cloudevents==0.1.0' // Private artifactory package
  ],
  packages = find_packages()
 )

最佳答案

您可以使用--setup_file上传您的依赖项选项。

关于python - setup.py 是否确实将包加载到 GCP Dataflow 中?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57712404/

相关文章:

python - 在 QTreeWidget 中调用上下文菜单

Python - 在末尾格式化整数

python - 使用 pandas 有条件地连接 python 中的数据框

google-cloud-dataflow - Apache Beam 管道中的组元素

c - C语言进程间通信中的数据流控制

python - 装饰器如何在不更改其签名的情况下将变量传递给函数?

python - 在 Google App Engine Flex 上运行 Apache Beam 时,“模块”对象没有属性 'WriteToBigQuery'

java - 我收到错误 : "Overload resolution ambiguity" from MapElements transform in Apache Beam when using Kotlin

apache-beam - 是否可以获取给定键的前一个窗口的状态

Azure 数据工厂数据流 - Parquet、架构和数据类型 "Any"