google-cloud-platform - 从有界数据流管道到发布/订阅的确定性发布顺序

标签 google-cloud-platform google-cloud-dataflow google-cloud-pubsub

有没有办法以确定的顺序将消息从有界数据流管道(批处理模式)发布到 PubSubIO.Write 中,以便它们至少按该顺序传递。例如。使用时间戳或自然/排序排序。

最佳答案

无法确定性地对写入 PubSubIO.Write 的数据进行排序。即使消息按顺序发布到 Pub/Sub,您的订阅者也不会按顺序收到它们,因为 Cloud Pub/Sub 没有顺序保证。一般来说,使用 Pub/Sub 尽可能避免对订单的依赖是好的,尽管有一些技术可以处理它。我建议阅读新出版的 Message Ordering doc .

关于google-cloud-platform - 从有界数据流管道到发布/订阅的确定性发布顺序,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35488842/

相关文章:

javascript - 如何识别字符串中的某些单词并返回结果? (AngularJS)

java - Apache Beam 中的缓存 : Static variable vs Stateful processing

apache-kafka - 卡夫卡 : exactly once semantics configuration using Apache Beam

google-cloud-dataflow - ParDo 中的侧输出 | Apache Beam Python SDK

google-cloud-platform - 谷歌云数据流 : Read from a file with dynamic filename

google-cloud-platform - 如何更改 Google Cloud Windows Server 2016 虚拟机的时区?

google-cloud-platform - 我可以将我的 PC 直接连接到 Google Cloud VPN

kubernetes - 如何编写kubernetes部署以获取使用GCP cloudbuild构建的最新镜像

用于创建 GCP Publisher 的 Scala Spark 代码抛出 : java. lang.NoSuchMethodError : com. google.common.base.Preconditions.checkArgument

google-cloud-functions - 如何防止云调度器多次触发一个函数?