apache-kafka - Kafka 重新平衡 - 将 Kafka 消费者分配给分区

Question

当新的 Kafka 消费者加入/离开消费者组时，Kafka 运行时会触发重新平衡过程，以便执行新的分区分配/映射到新的消费者组。我对重新平衡过程有三个问题:

(1) 除了已经实现的算法之外，是否可以以某种方式插入自定义的重新平衡算法？

(2) 是否可以将外部变量传递给自定义算法？

(3)除了已知的情况(例如当消费者离开、加入等时)之外，是否可以动态地、有选择地启动重新平衡过程

Answer 1

1. 是的，您可以使用partition.assignment.strategy来设置自定义分配算法。自定义类需要实现ConsumerPartitionAssignor .

2. 分配者可以执行任何必要的逻辑来从环境或其他地方检索值。

3. 从 Kafka 2.6 开始，您可以使用 enforceRebalance()触发一个。