apache-kafka - 如何将 kafka 主题迁移到日志压缩?

标签 apache-kafka

我们有一个 Kafka 主题,当前正在删除 cleanup.policy。已针对此主题生成的消息没有 key 。我可以更改此主题的配置,并且它不会在没有 key 的情况下接受任何新消息,这是合理且需要的。

不过,我想知道 Kafka 将如何处理这些旧的无 key 消息。他们会被当作拥有一把 key 一样对待,还是不会受到新的清理政策的影响?

是否有迁移的最佳实践,我无法找到相关信息。这是一个不寻常的用例吗?

提前致谢

最佳答案

我已经在我的 Kafka 集群中进行了一些测试,并为以后的问题回答了这个问题:

  • 没有 key 的消息将被删除
  • 如果您不添加新消息,您可能会在分区中得到一些旧消息,因为它们“在最后一部分”。当您添加新消息时,它们将被删除

  • 我想我会引入一个新的压缩主题并将我的数据重新发布到新主题。这会导致所有消费者消费一个新主题,但在我的情况下这是可以的。

    祝我 future 好运

    关于apache-kafka - 如何将 kafka 主题迁移到日志压缩?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53757453/

    相关文章:

    java - Kafka Consumer WakeupException 处理 Java

    java - 如何使用 Junit 5 通过 Testcontainer 运行 Kafka 集成测试

    apache-kafka - AWS DMS Kafka 目标端点测试失败,显示 "application error 1020912: failed to connect to database"

    java - 反序列化 Avro 序列化 Kafka Stream 的问题

    java - Camel kafka maxPollRecords配置是什么意思

    java - Kafka Consumer 卡在 .hasNext in java

    ios - 从 iOS 向 Kafka Topic 发送消息

    apache-kafka - 如何使用 Python-kafka 管理客户端在 Kafka 中创建主题?

    java - Kafka Streams App - 计数和总和

    scala - 如何使用 fs2-kafka 从 embedded-kafka 读取数据