java - 使用 Spark 2.3 结构化流的 Jar 依赖项错误

Question

我使用spark2.3结构化流读取Kafka 1.0数据，完全遵循documentation我得到一个异常(exception):

Caused by: java.lang.ClassNotFoundException: org.apache.kafka.common.TopicPartition`   

我使用的唯一与kafka相关的jar是spark-sql-kafka-0-10_2.11-2.3.0.jar正如医生所说。

Answer 1

您还必须在项目中添加此库

org.apache.kafka:kafka-clients:0.10.0.0

行家:

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>0.10.0.0</version>
</dependency>

sbt:

libraryDependencies += "org.apache.kafka" % "kafka-clients" % "0.10.0.0"

发帖者找到的解决方案

Adding kafka-clients:0.10.0.0.jar to HDFS instead of $SPARK_HOME/jars/