我需要编写一个从 Kinesis 流读取并将数据存储到 Kafka 主题的 Java 应用程序。我不能使用连接器,我必须使用 Kafka Streams,因为涉及很多逻辑。 Kafka Stream 可以直接从 Kinesis 流读取吗?还是我必须先将数据存储到 Kafka 主题才能被 Kafka Stream 读取?
我读了很多关于 Kafka Streams 的文章,但我从未见过 Kafka Stream 从 Kafka 主题之外的其他内容读取内容的示例。
最佳答案
Kafka Streams 仅连接到单个 Kafka 集群和读/写主题。它无法从任何其他系统读取或写入。
如果我们想将数据导入 Kafka(或从 Kafka 导出),您可以使用 Kafka Connect。对于简单的数据转换,Connect 提供了您可以使用的所谓“单一消息转换”(SMT)。对于更复杂的转换,您需要先导入未修改的数据,然后使用 Kafka Streams 进行相应的转换。
关于java - Kafka Stream 应用程序可以从 Kinesis 流读取吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57245715/