apache-kafka-connect - 有没有办法使用 MSK-connect API 更新连接器配置?

标签 apache-kafka-connect aws-msk s3-kafka-connector aws-msk-connect

我在 MSK Connect 上部署了一个 s3 连接器,并在 github 上拥有一个包含 json 连接器配置文件的存储库。我想通过 MSK 的 REST API 按需更新连接器配置。我检查了API documentation ,但似乎 UpdateConnector API 只允许修改容量配置。 CreateConnector API 确实允许提供连接器配置,但如果连接器已存在,则会返回错误。 我可以删除然后重新创建连接器,但这似乎不是一个好方法。

还有其他方法可以更新正在运行的连接器配置吗?

最佳答案

如果无法通过其他方式直接访问 Connect REST API,那么删除/重新创建似乎是唯一的选择。

对于接收器连接器,这是一个相对安全的选项,因为消费者偏移量是通过连接器名称本身来跟踪的,并且内部 Connect 主题之外没有存储任何状态

关于apache-kafka-connect - 有没有办法使用 MSK-connect API 更新连接器配置?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/71148667/

相关文章:

apache-spark - Spark 无法读取 AvroParquetWriter 写入的 Parquet 文件中的 DECIMAL 列

amazon-s3 - 如何从 s3 接收器连接器中的信封类型架构中提取嵌套字段

apache-kafka - Confluence S3 接收器连接器中的解析问题 [序列化错误]

MongoDB Kafka Sink Connector 不处理 RenameByRegex 处理器

mysql - 通过kafka jdbc连接器删除数据库中的记录

hadoop - 合流 HDFS 连接器 : How can I read from the latest offset when there are no hdfs files?

mysql - 如何配置 Debezium Mysql 连接器来生成原始键而不是 struct 或 json 对象?

amazon-web-services - 本地访问amazon msk集群

apache-kafka - AWS DMS Kafka 目标端点测试失败,显示 "application error 1020912: failed to connect to database"