java - 将文件从 Google Dataflow 保存到 Google Storage 的最简单方法是什么?

标签 java google-cloud-dataflow apache-beam

我的管道已启动并正在运行,但我需要将一个数字保存到文件中,这将使我能够返回到之前的处理,以防出现问题(或者当我想部署新版本的管道时) ,并且我无法使用更新管道功能)。

我试图从 google-cloud-storage 添加库,但运行时出现错误(即使我拥有最新的所有依赖项,它也没有从 google-cloud-core 找到某些类)。需要有一种简单的方法,只需保存(然后读取)文件即可。我将不胜感激一些片段或链接。

最佳答案

也许现在回答这个问题已经太晚了:D。但也许可以帮助其他人。如果您由于使用不同的 GCP 组件而遇到依赖 hell ,请使用 https://github.com/googleapis/google-cloud-java/tree/master/google-cloud-bom 。他们创建了一个 pom 文件来跟踪不同组件中的所有兼容版本。

关于java - 将文件从 Google Dataflow 保存到 Google Storage 的最简单方法是什么?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49755399/

相关文章:

python - Google Cloud Dataflow 无法导入 'google.cloud.datastore'

google-cloud-dataflow - 数据流 wordcount.py 示例 "Import by filename is not supported"

go - 使用 Go SDK 的 Cloud Dataflow 并行问题

google-cloud-dataflow - 在 Apache Beam 中使用 for 循环执行步骤顺序是否可以

java - Maven 正在尝试从不同目标的中心下载父 pom

声明后初始化的Java数组

java - Java 中的 DebugBreak 等价物?

java - 无法识别 Java 字符串中的代理字符

python - 在 Dataflow Python flex 模板中包含另一个文件 ImportError

python - 有人有通过 Data Flow Python SDK 将输出写入 SFTP 的经验吗?