我计划使用 Amazon MSK，我想将消费者日志转储到 S3。但我看不到任何选择。我是否需要编写自己的消费者，或者有没有办法直接将 Amazon MSK 消费者输出消费到 s3？
最佳答案
Kafka Connect 通常是在 Kafka 和系统之间向下(和向上)流(例如 S3)获取数据的最佳(最简单/可扩展/便携/弹性)方式。了解有关 Kafka Connect here 的更多信息在this talk here .
MSK Connect可以在 AWS 上为您的 MSK 运行 Kafka Connect 工作负载。
您的另一个选择是运行您自己的 Kafka Connect worker(连接到 MSK)并使用 S3 sink connector (tutorial)。
关于apache-kafka - 有没有办法直接将 Amazon MSK Topic 转储到 S3？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/62536122/