java - 数据流管道和发布订阅模拟器

标签 java google-cloud-dataflow apache-beam google-cloud-pubsub google-cloud-pubsub-emulator

我正在尝试设置我的开发环境。我没有在生产中使用 google cloud pubsub,而是一直在使用 pubsub 模拟器进行开发和测试。为此,我设置了以下环境变量:

export PUBSUB_EMULATOR_HOST=localhost:8586

这适用于 python google pubsub 库,但是当我切换到对 google 数据流使用 java apache beam 时,管道仍然指向生产 google pubsub。管道上是否有我需要设置的设置、环境变量或方法,以便管道读取本地 pubsub 模拟器?

最佳答案

我在 PubsubOptions 接口(interface)中找到了解决方案,并将其扩展为我自己的 PipelineOptions 实现。然后使用 setPubsubRootUrl() 将其设置为模拟器的 localhost:port。

关于java - 数据流管道和发布订阅模拟器,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43354599/

相关文章:

java - Spark 应用java.lang.OutOfMemoryError : Direct buffer memory

google-bigquery - 通过 DataFlow 从 Cloud Storage 到 BigQuery(更新插入)

google-cloud-dataflow - 运行数据流时出现问题

java - jquery+grails,如何将输入数据从对话框传递到 Controller

java - Android Studio 中的图像资源变得奇怪

java - Spring JDBC DAO

python - 模板化数据流在加载时挂起一个多小时并因错误而退出

google-cloud-dataflow - 基于公共(public)键分析数据的简单方法

java - 缓冲和刷新 Apache Beam 流数据

python - Apache Beam用于音频信号/流处理