是否可以将 gzip 压缩数据从 Spark 流写入 Kafka？是否有任何示例/样本展示如何在 Spark 流作业中从 Kafka 写入和读取压缩数据？
最佳答案
是的，这是可能的。只需将 compression.type 设置为 gzip。
参见here完整的例子。
// Zookeeper connection properties
val props = new HashMap[String, Object]()
props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, brokers)
props.put(ProducerConfig.COMPRESSION_TYPE_CONFIG, "gzip")
// add other props as needed
val producer = new KafkaProducer[String, String](props)
关于apache-spark - Spark Streaming中如何将压缩数据写入Kafka？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/43465269/