我正在使用下面的 kafka 控制台生产者命令将文件的内容传递给 kafka 生产者。
sh ~/KAFKA_HOME/bin/kafka-console-producer.sh --broker-list xxx:9092,yyy:9092,zzz:9092 --topic HistLoad --new-producer < data.csv
Data.csv 文件有大约 700,000 条记录。我在消费者输出端仅收到大约 699,800 条消息。
我检查了消费者的偏移计数器，根据偏移值，它在队列中只有 699,800 条消息。
你能帮我弄清楚是什么导致了这个丢失消息的问题吗？我需要检查什么才能找到根本原因。
最佳答案
这是因为控制台生产者默认有 acks=0。将 request-required-acks 设置为 1 应该没问题。
供您引用https://issues.apache.org/jira/plugins/servlet/mobile#issue/KAFKA-3129
关于hadoop - Kafka 控制台生产者丢失消息，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/40117914/