如何使用直接流 API 为 kafka spark 流指定消费者组 ID。
HashMap<String, String> kafkaParams = new HashMap<String, String>();
kafkaParams.put("metadata.broker.list", brokers);
kafkaParams.put("auto.offset.reset", "largest");
kafkaParams.put("group.id", "app1");
JavaPairInputDStream<String, String> messages = KafkaUtils.createDirectStream(
jssc,
String.class,
String.class,
StringDecoder.class,
StringDecoder.class,
kafkaParams,
topicsSet
);
虽然我已经指定了配置但不确定是否遗漏了什么。使用 spark1.3
kafkaParams.put("group.id", "app1");
最佳答案
直接流 API 使用低级别的 Kafka API,因此无论如何都不使用消费者组。如果您想将消费者组与 Spark Streaming 一起使用,则必须使用基于接收器的 API。
关于java - 如何使用直接流在 Kafka Spark Streaming 中指定消费者组,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36508553/