java - Kafka Stream 应用程序可以从 Kinesis 流读取吗?

标签 java apache-kafka apache-kafka-streams amazon-kinesis

我需要编写一个从 Kinesis 流读取并将数据存储到 Kafka 主题的 Java 应用程序。我不能使用连接器,我必须使用 Kafka Streams,因为涉及很多逻辑。 Kafka Stream 可以直接从 Kinesis 流读取吗?还是我必须先将数据存储到 Kafka 主题才能被 Kafka Stream 读取?

我读了很多关于 Kafka Streams 的文章,但我从未见过 Kafka Stream 从 Kafka 主题之外的其他内容读取内容的示例。

最佳答案

Kafka Streams 仅连接到单个 Kafka 集群和读/写主题。它无法从任何其他系统读取或写入。

如果我们想将数据导入 Kafka(或从 Kafka 导出),您可以使用 Kafka Connect。对于简单的数据转换,Connect 提供了您可以使用的所谓“单一消息转换”(SMT)。对于更复杂的转换,您需要先导入未修改的数据,然后使用 Kafka Streams 进行相应的转换。

关于java - Kafka Stream 应用程序可以从 Kinesis 流读取吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57245715/

相关文章:

apache-kafka - RocksDB数据丢失

java - 如何从另一个类引用数组

java - 导入 rt.jar 给我 dalvik 错误

java ArrayList 关于结果

java - Kafka 消费者手册提交偏移量

apache-kafka - Kafka 分区重新分配性能影响

java - 卡夫卡 : Bounded Batch Processing in Parallel

java - kafka 流不与动态生成的类一起运行

java - 使用稀疏写入和多次读取来编写 HashMap 的最佳方法

java - Kafka Streams SessionWindows 中的节流