apache-kafka - 如何在 Kafka Consumer Group 中将偏移量重置为任意值?

标签 apache-kafka

我想将所有分区的偏移量重置为特定值......我看到 kafka-consumer-groups.sh 提供了 --from-file 将偏移量重置为 CSV 文件中定义的值的选项

任何人都可以分享这个 csv 文件的内容/格式和它的示例命令吗?

例如:./kafka_2.12-2.1.1/bin/kafka-consumer-groups.sh --bootstrap-server ${KAFKA_BROKER} --group ${GROUP_NAME} --topic ${TOPIC} --reset-offsets --from-file offsets.csv --execute
offsets.csv 的内容/格式是什么?

最佳答案

csv文件格式为(每一行包含一个分区的信息):

topicName,partitionNumber,offset
topicName,partitionNumber,offset

示例 csv 内容 ( reset-policy.csv )。
someTopic1,0,1
someTopic2,1,5

基于 csv 文件重置偏移量的命令是:
./bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group gr1 --from-file reset-policy.csv --reset-offsets --execute

关于apache-kafka - 如何在 Kafka Consumer Group 中将偏移量重置为任意值?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55477753/

相关文章:

java - Kafka 消费者分配返回空集

apache-kafka - Kafka Streams 如何获取 kafka header

apache-kafka - Kafka Source Connector max.tasks 的理想配置设置

apache-kafka - 如果删除 Kafka 快照文件会发生什么?

java - Kafka Connect API 和 Avro 对象(SourceRecord 与 org.apache.avro.Schema)

java - Kafka Streams 应用程序死亡,错误代码为 "StreamsException: Could not create internal topics."

apache-kafka - Flink+Kafka重置检查点和偏移量

apache-spark - 如何在使用 Spark Streaming 流式传输 kafka 时对消息进行重复数据删除?

java - 无法从 Windows 生成在 WSL 2 上运行的 Kafka 主题

java - 如何在kafka中加入2个流?