java - 为每个请求创建新的 Kafka Producer 对象

Question

我正在开发一个休息服务，它将基于主题向kafka(使用java客户端)发布事件，不同的主题可以有不同的编号。的经纪人。 我正在为每个将消息发送到 Kafka 的请求创建 Producer。我觉得这是低效的，并且可以通过维护生产者池来更易于管理地实现，这真的有帮助吗？请提供建议。

Answer 1

您可以只使用一个生产者并写入不同的主题( https://kafka.apache.org/090/javadoc/index.html?org/apache/kafka/clients/producer/KafkaProducer.html )。 ProducerRecord 类提供了一个构造函数，允许指定记录应写入的主题 ( https://kafka.apache.org/090/javadoc/index.html?org/apache/kafka/clients/producer/ProducerRecord.html )

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:4242");
props.put("acks", "all");
props.put("retries", 0);
props.put("batch.size", 16384);
props.put("linger.ms", 1);
props.put("buffer.memory", 33554432);
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

Producer<String, String> producer = new KafkaProducer<>(props);
for(int i = 0; i < 100; i++)
    producer.send(new ProducerRecord<String, String>("my-topic", Integer.toString(i), Integer.toString(i)));

producer.close();