java - kafka(不活动)消费者滞后监控

Question

我使用Confluence Kafka 0.10.0。我想监控消费者偏移量以发出警报。

当消费者组不活跃时，该组的值存储在哪里？是否有一种编程方法来提取这些？ (即kafka api中的东西)

同样 - 有没有办法获取包含非 Activity 组的组列表？

<小时/>

注意:

(目前)列出/描述我的项目组的唯一方法是使用
kafka-consumer-groups ... --new-consumer。

Answer 1

执行以下操作:

1. 获取你的group.id，并计算Math.abs(groupID.hashCode()) % 50。假设你的group.id是“test_group1”，然后通过计算Math.abs(“test_group1”得到目标分区号。 hashCode()) % 50

2. 使用之前计算的目标分区号运行以下命令:

   bin/kafka-simple-consumer-shell.sh --topic __consumer_offsets --partition --broker-list *** --formatter "kafka.coordinator.GroupMetadataManager\$OffsetsMessageFormatter"

您应该能够看到此非 Activity 组的偏移量。对于活跃组，只需运行 kafka-consumer-groups 脚本就足够了。