java - Kafka Connect 实现错误

标签 java apache-kafka

我在这里浏览教程:http://kafka.apache.org/documentation.html#introduction

当我进入“第 7 步:使用 Kafka Connect 导入/导出数据”并尝试启动两个连接器时,我收到以下错误:

ERROR Failed to flush WorkerSourceTask{id=local-file-source-0}, timed out while waiting for producer to flush outstanding messages, 1 left

ERROR Failed to commit offsets for WorkerSourceTask

这是教程的一部分:

Next, we'll start two connectors running in standalone mode, which means they run in a single, local, dedicated process. We provide three configuration files as parameters. The first is always the configuration for the Kafka Connect process, containing common configuration such as the Kafka brokers to connect to and the serialization format for data. The remaining configuration files each specify a connector to create. These files include a unique connector name, the connector class to instantiate, and any other configuration required by the connector. bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties

我花了一些时间寻找解决方案,但找不到任何有用的东西。任何帮助表示赞赏。

谢谢!

最佳答案

我收到此错误的原因是因为我使用 config/server.properties 创建的第一个服务器没有运行。我假设因为它是主题的主导,所以无法刷新消息并且无法提交偏移量。

一旦我使用服务器属性 (config/server.properties) 启动了 kafka 服务器,这个问题就解决了。

关于java - Kafka Connect 实现错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35472502/

相关文章:

java - 使用 maven 存储库将 java 库添加到 Android Studio 项目

java - 如何更改 Netbeans 6.9 中的默认项目目录(文件夹)?

apache-kafka - Spark Streaming 应用程序因 KafkaException : String exceeds the maximum size or with IllegalArgumentException 而失败

apache-kafka - Kafka以相反的顺序消费消息

java - Kafka 客户端连接池

apache-kafka - Kafka Streams 低级处理器 API 的标点符号不会定期运行

Java:引用 JSON 中的键值

Java.util.zip 替换单个 zip 文件

Java 字符串等于文字警告消息

apache-kafka - kafka流库是否依赖于底层kafka代理?