java - 如何为托管在 Kubernetes 中的多个应用程序选择 Kafka 事务 ID?

标签 java kubernetes apache-kafka spring-kafka kafka-producer-api

我有一个经典的微服务架构。因此,有不同的应用程序。每个应用程序可能有 1..N 实例。系统部署到Kubernetes。因此,我们有许多不同的POD,它们可以随时启动和停止。

我想实现 read-process-write模式,所以我需要卡夫卡交易。

要配置事务,我需要为每个 Kafka 生产者设置一些 事务 id。 (实际上,我需要 transaction-id-prefix,因为我的应用程序使用 Spring,它有这样的 API)。在应用程序重新启动后,这些 ID 必须相同。

那么,如何为托管在 Kubernetes 中的多个应用程序选择 Kafka 事务 ID?

最佳答案

如果消费者启动事务(读取-处理-写入),则同一应用程序的所有实例的事务 ID 前缀必须相同(以便僵尸防护在重新平衡后正常工作)。实际使用的交易ID是<prefix><group>.<topic>.<partition> .

如果您有多个应用,它们应该有唯一的前缀(尽管如果它们从不同的主题消费,它们无论如何都是唯一的)。

对于仅限生产者的交易,前缀在每个实例中都必须是唯一的(以防止 kafka 屏蔽生产者)。

关于java - 如何为托管在 Kubernetes 中的多个应用程序选择 Kafka 事务 ID?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57179169/

相关文章:

docker - 根据其限制和要求,如何定义Pods 'see'中的哪些容器?

apache-kafka - 在不安装Confluent Platform的情况下使用Confluent Hub

amazon-web-services - 在 AWS、Kubernetes 上动态配置卷时出现问题

Azure 文件在 kubernetes 中授予权限被拒绝

java - 卡夫卡流 : Implement a simple KeyValueStore where I can put and get data

apache-kafka - 如何在不指定源的情况下使用 Flume 的 Kafka Channel

java - 基于 Android 模拟器中特定定位器的最佳向上/向下滚动方法是什么?

java - 递归与 For 循环 - 阶乘,Java

java - 如何在需要关注时在 Windows 任务栏上闪烁 JFrame

java - 如何更新 map 中的值,保持顺序