apache-kafka - Apache Flink 1.4 与 Apache Kafka 1.0.0

标签 apache-kafka sbt apache-flink flink-streaming

我正在尝试将 Apache Flink Scala 项目与 Apache Kafka 1.0.0 集成。当我尝试在 build.sbt 文件中添加 flink-connector-kafka 包时,我收到一条错误消息,指出它无法解析它。

当我查看 Maven 存储库中可用的选项时,对于 0.10.2 以上的任何版本,Apache Kafka 2.11-1.0.0 都没有可用的 Maven 依赖项

val flinkVersion = "1.4.1"
val flinkDependencies = Seq(
    "org.apache.flink" %% "flink-scala" % flinkVersion % "provided",
    "org.apache.flink" %% "flink-streaming-scala" % flinkVersion % "provided")
    "org.apache.flink" %% "flink-connector-kafka" % flinkVersion)

有谁知道如何正确集成这些版本,以便我可以将 Apache Flink 1.4 连接到 Apache Kafka 2.11-1.0.0,因为我似乎没有尝试过任何工作(而且我不希望降级我正在连接的 Kafka 版本)到)。

最佳答案

这应该有效。尝试:

val flinkVersion = "1.4.2"

libraryDependencies ++= Seq(
  "org.apache.flink" %% "flink-streaming-scala" % flinkVersion,
  "org.apache.flink" %% "flink-connector-kafka-0.11" % flinkVersion
)

关于apache-kafka - Apache Flink 1.4 与 Apache Kafka 1.0.0,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49084618/

相关文章:

java - 使用 Kafka 向 Dlq Spring 云流发送消息时出错

java - 如何构建使用 java 注释代码生成的混合 java/scala 项目?

java.lang.NoSuchMethodError : scala. Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object

elasticsearch - flink : handling backpressure (source: kafka, 接收器:elasticsearch)

scala - Flink 获取 RuntimeContext

apache-kafka - 为什么我在检索商店进行查询时偶尔会收到 InvalidStateStoreException PARTITIONS_REVOKED,而不是 RUNNING?

java - Apache Storm 和 Kafka 与 Firebase 集成

apache-kafka - 我可以在不检索所有消息的情况下检索 Kafka 分区的最新可用偏移量吗?

java - 如何将 webapp_config.txt 包含到 Play 的 dist zip 中?

scala - 我可以在另一个多项目中有一个 sbt 多项目吗?