apache-kafka - Kafka在生产者与主题之间设置了压缩类型

Question

以下在kafka中启用压缩的方式之间有什么区别：

方法1：使用以下命令创建主题：

bin/kafka-topics.sh --create --zookeeper localhost:2181 --config compression.type=gzip --topic test

方法2：在Kafka Producer客户端API中设置属性compression.type = gzip。

使用方法1时，压缩效果更好，吞吐量更高。

如果使用方法1，是否意味着压缩发生在代理端，而在方法2中，消息在生产者端被压缩然后发送给代理？

Answer 1

如果使用方法1，是否意味着压缩发生在代理端？


这取决于。如果生产者未设置compression.type或设置其他compression.type，则消息将在代理端被压缩。但是，如果生产者还将gzip设置为，则无需在代理端再次进行压缩。实际上，还必须满足其他严格条件以确保不需要压缩，尽管这超出了范围。


在方法2中，消息在生产者端被压缩，然后发送给代理？


是的，如果生产者设置了compression.type config，记录将被压缩，然后再发送给代理。