我使用的是 Kafka 0.10.2.0。我有 3 个经纪人,我正在做一些故障转移测试。有时,当其中一个卡夫卡经纪人不礼貌地关闭时,我会丢失数据。 卡夫卡经纪人配置:
zookeeper.connection.timeout.ms=6000
num.partitions=50
min.insync.replicas=2
unclean.leader.election.enable=false
group.max.session.timeout.ms=10000
group.min.session.timeout.ms=1000
消费者配置:
props.put(ConsumerConfig.GROUP_ID_CONFIG, getTopicName() + "group");
props.put(ConsumerConfig.CLIENT_ID_CONFIG, getClientId());
props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
props.put(ConsumerConfig.REQUEST_TIMEOUT_MS_CONFIG, 30000);
props.put(ConsumerConfig.HEARTBEAT_INTERVAL_MS_CONFIG, 500);
props.put(ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG, 3000);
生产者配置:
props.put(ProducerConfig.LINGER_MS_CONFIG, 1);
props.put(ProducerConfig.BUFFER_MEMORY_CONFIG, 33554432);
props.put(ProducerConfig.MAX_IN_FLIGHT_REQUESTS_PER_CONNECTION, 1);
props.put(ProducerConfig.CLIENT_ID_CONFIG, getClientId());
props.put(ProducerConfig.MAX_BLOCK_MS_CONFIG, 800);
props.put(ProducerConfig.RETRIES_CONFIG, Integer.MAX_VALUE);
props.put(ProducerConfig.REQUEST_TIMEOUT_MS_CONFIG, 800);
我该怎么做才能防止通过 kafka 代理丢失数据?
最佳答案
您的主题的重复因子是否为 3?
session 视频在这里 https://www.confluent.io/kafka-summit-2016-ops-when-it-absolutely-positively-has-to-be-there/
关于java - Kafka 如何防止通过代理丢失数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42927142/