我正在尝试在我的 Apache Spark 1.4.1 和 Kafka 0.9.0.0 之间启用 SSL,我正在使用 spark-streaming-kafka_2.10
Jar 连接到 Kafka,我正在使用 KafkaUtils.createDirectStream
方法从 Kafka 主题中读取数据。
最初,我遇到了 OOM 问题,我通过增加驱动程序内存解决了它,之后我看到了以下问题,我做了一些阅读并发现 spark-streaming-kafka_2.10
使用Kafka 0.8.2.1 API,不支持SSL(Kafka 0.9.0.0版本后才支持SSL)。在 Spark 1.4.1 和 Kafka 0.9.0.0 之间启用 SSL 是否有任何替代方案。
- > http://grokbase.com/p/kafka/users/158wy0wtxk/ssl-between-kafka-and-spark-streaming-api
- > SSL between Kafka and Spark
- > http://spark.apache.org/docs/latest/streaming-kafka-integration.html
- > https://issues.apache.org/jira/browse/SPARK-15089
这是日志
iableProperties: Property security.protocol is not valid
16/10/24 18:25:09 WARN utils.VerifiableProperties: Property ssl.truststore.location is not valid
16/10/24 18:25:09 WARN utils.VerifiableProperties: Property ssl.truststore.password is not valid
16/10/24 18:25:09 INFO utils.VerifiableProperties: Property zookeeper.connect is overridden to
16/10/24 18:25:09 INFO consumer.SimpleConsumer: Reconnect due to error
Exception in thread "main" org.apache.spark.SparkException: java.io.EOFException
org.apache.kafka.common.network.NetworkReceive.readFromReadableChannel(NetworkReceive.java:99)
最佳答案
Spark 2.0 中添加了对 Kafka 0.10(具有 SSL 支持)的支持。我们必须使用 Maven 神器 spark-streaming-kafka-0-10_2.10。
关于apache-spark - 在 Apache spark 和 Kafka 代理之间启用 SSL,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40230237/