我正在使用 kafka connect 从 kafka 主题消费数据,将数据加载到 splunk 中。我不希望偏移量存储在同一个引导服务器上。我知道我们可以设置 offset.storage.topic 属性。但是有没有像 offset.storage.Server 属性之类的东西?
下面是我的 connect-distributed.properties 配置中的一些属性。
bootstrap.servers=[server]
group.id=connect-cluster
plugin.path=/opt/kafka_2.12-2.2.0/plugins
offset.storage.topic=connect-offsets
offset.storage.replication.factor=3
最佳答案
不,我不相信这是可能的。
如果您确实不想将偏移量写回集群,一个选择是在独立模式下运行 Kafka Connect,并让它使用本地文件代替偏移量。如果这样做,您只能运行工作线程的单个实例,因此无法获得分布式模式提供的任何可扩展性和容错优势。
关于apache-kafka - 在 connect-distributed.properties 中设置 offset.storage.topic 以使用不同的服务器,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55971321/