apache-kafka - 在 connect-distributed.properties 中设置 offset.storage.topic 以使用不同的服务器

标签 apache-kafka apache-kafka-connect

我正在使用 kafka connect 从 kafka 主题消费数据,将数据加载到 splunk 中。我不希望偏移量存储在同一个引导服务器上。我知道我们可以设置 offset.storage.topic 属性。但是有没有像 offset.storage.Server 属性之类的东西?

下面是我的 connect-distributed.properties 配置中的一些属性。

bootstrap.servers=[server]

group.id=connect-cluster

plugin.path=/opt/kafka_2.12-2.2.0/plugins

offset.storage.topic=connect-offsets

offset.storage.replication.factor=3

最佳答案

不,我不相信这是可能的。

如果您确实不想将偏移量写回集群,一个选择是在独立模式下运行 Kafka Connect,并让它使用本地文件代替偏移量。如果这样做,您只能运行工作线程的单个实例,因此无法获得分布式模式提供的任何可扩展性和容错优势。

关于apache-kafka - 在 connect-distributed.properties 中设置 offset.storage.topic 以使用不同的服务器,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55971321/

相关文章:

apache-kafka - 了解 Kafka Streams 中处理器实现中的事务

java - Kafka Streams 不读取输入主题

java - 如何在没有连接器的情况下创建正确的 kafka-connect 插件?

jboss - 复制槽已经存在

amazon-web-services - 如何在 AWS MSK 集群上将 auto.create.topics.enable 设置为默认配置

java - 在 Java Spring 应用程序中使用 Apache Storm 读取 Kafka 消息会导致 NotSerializeableException,为什么?

java - 连接器任务状态连接失败

apache-kafka - 用于 Kafka 的 CSV 连接器

apache-kafka - 自上次追加以来,卡夫卡生产者发送的消息已过期 30003 毫秒

apache-kafka - 缺少必需的配置 "key.converter",该配置没有默认值