scala - 在将 spark streaming 与 kafka 集成时,scala 编程出现错误

标签 scala apache-spark apache-kafka spark-streaming

我正在尝试添加一些导入,但是当我添加 import org.apache.spark.streaming.kafka.kafkautils 显示以下错误

对象kafka不是对象org.apache.spark.streaming.kafka.kafkautils的成员

与 斯卡拉IDE 4.7 版本 2.11.11, spark-2.3.0-bin-hadoop2.7 jar 文件, 卡夫卡 2.11 jar , spark-streaming-kafka-0-10_2.11-2.3.0 jar

最佳答案

如果您使用的是 spark-streaming-kafka-0-10_2.11-2.3.0 jar 那么 KafkaUtils 可以在 org.apache.spark.streaming.kafka010 这个包。 所以导入

import org.apache.spark.streaming.kafka010.KafkaUtils

而不是

import org.apache.spark.streaming.kafka.kafkautils 

希望这会有所帮助!

关于scala - 在将 spark streaming 与 kafka 集成时,scala 编程出现错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49559643/

相关文章:

java - 在spark scala或spark java中选择列和列值的频率

scala - 如何读取压缩的 Spark eventLog?

java - Spark Java 版本错误

java - 添加空处理器时 Kafka Streams 处理速度变慢

ssl - kafka 2路ssl认证

java - 如何在 @ContextConfiguration 初始值设定项之前启动 kafka 测试容器?

scala - 名称值/表达式保存在函数程序中的什么位置?

scala - 对于 2.6.X,Play 中的 WS 变得难以置信的复杂

scala - 比较Subcut和Scaldi

c# - 如何从 C# 中引用带有美元符号的标识符?