apache-spark - 如何为Spark Streaming定义Kafka(数据源)依赖项?

标签 apache-spark sbt spark-streaming spark-streaming-kafka

我正在尝试使用spark-streaming2.0.0消耗kafka 0.8主题,我正在尝试确定所需的依赖项,我已经在build.sbt文件中使用这些依赖项进行了尝试

libraryDependencies += "org.apache.spark" %% "spark-streaming_2.11" % "2.0.0"

当我运行sbt软件包时,我得到了所有这三个 jar 的未解决依赖关系,

但是这些 jar 确实存在

https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka-0-8_2.11/2.0.0

请帮助调试此问题,因为我是Scala的新手,所以如果我做的不对,请通知我

最佳答案

问题是您要指定Scala版本,并且还要使用%%尝试推断您使用的Scala版本。

要么删除一个%:

libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.0.0"
libraryDependencies += "org.apache.spark" % "spark-streaming_2.11" % "2.0.0"
libraryDependencies += "org.apache.spark" % "spark-streaming-kafka-0-8_2.11" % "2.0.0"

或删除Scala版本:
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.0.0"
libraryDependencies += "org.apache.spark" %% "spark-streaming" % "2.0.0"
libraryDependencies += "org.apache.spark" %% "spark-streaming-kafka-0-8" % "2.0.0"

关于apache-spark - 如何为Spark Streaming定义Kafka(数据源)依赖项?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39516992/

相关文章:

apache-spark - 如何使用支持通用 ID 类型(int 和 long)的 Spark ML ALS 实现

scala - flatMap 编译错误发现 : TraversableOnce[String] required: TraversableOnce[String]

apache-spark - 通过可能增加分区或任务的数量来提高 Spark DataFrame 到 RDD 转换的速度

scala - 无法解析符号 "TestKit"

scala - 每个 Scala 项目都针对特定的 sbt 版本吗?

apache-spark - spark-submit 类路径问题与 --repositories --packages 选项

java - 为什么将 SparkSql 与 Hive 一起使用时找不到此表错误?

scala - 在 Travis 构建中为 SBT 启动器配置存储库

java - Kafka Spark Streaming Consumer不会收到来自Kafka Console Producer的任何消息?

java - 为什么我的Spark程序在IntelliJ中运行良好,但提交后抛出 "org.apache.spark.SparkException: Task not serializable"?