启用 SSL 的 Storm Kafka Spout

Question

我想知道是否有任何支持 Secure Kafka Brokers 的 Kafka Spout。 来自 apache storm 的 KafkaSpout 不支持 SSL Kafka。

public KafkaSpout(SpoutConfig spoutConf) {
    _spoutConfig = spoutConf;
}

下面提到的 Kafka 没有为 SSL Kafka 生产者/消费者支持接受任何参数。

public KafkaConfig(BrokerHosts hosts, String topic) {
        this(hosts, topic, kafka.api.OffsetRequest.DefaultClientId());
    }

    public KafkaConfig(BrokerHosts hosts, String topic, String clientId) {
        this.hosts = hosts;
        this.topic = topic;
        this.clientId = clientId;
    }

请告诉我我们是否可以通过 Storm 拓扑实现安全的 Kafka 消息流处理。

Answer 1

Storm 的旧版 kafka-spout 使用不支持安全性的简单消费者 API。如果您希望将 SSL 与 kafka 消费者一起使用，您应该使用 https://github.com/apache/storm/tree/master/external/storm-kafka-client 这是详细信息 https://github.com/apache/storm/blob/master/docs/storm-kafka-client.md

要启用 SSL，它类似于您在常规 kafka-consumer 中执行的操作，您可以按照此处的详细信息进行操作 http://kafka.apache.org/documentation.html#security_ssl