将数据从 Kafka 集群移动到 Redshift 表的最佳实践是什么?
我们有连续数据到达 Kafka,我想将其写入 Redshift 中的表(不必实时)。
最佳答案
Kafka Connect 通常用于将数据从 Kafka 流式传输到(或从)数据存储。它可以做一些有用的事情,比如自动管理横向扩展、故障转移、模式、序列化等等。
This blog展示了如何使用开源 JDBC Kafka Connect 连接器流式传输到 Redshift。还有一个community Redshift connector ,但我没有试过这个。
This blog展示了另一种方法,不使用 Kafka Connect。
免责声明:我为创建 JDBC 连接器的 Confluent 工作。
关于amazon-web-services - 从 Kafka 读取数据到 AWS Redshift 的最佳实践,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51595109/