apache-kafka - 如何将主题从 kafka 集群复制到另一个 kafka 集群?

标签 apache-kafka

正如 Kafka 文档所示,一种方法是通过 kafka.tools.MirrorMaker 来实现这一点。但是,我需要将一个主题(比如 测试 带 1 个分区)(其内容和元数据)从生产环境复制到没有连接的开发环境。不过,我可以在环境之间进行简单的文件传输。
我的问题:如果我移动 *.log .index 从文件夹 test-0 到目标 Kafka 集群,这样就够了吗?或者我还需要做更多的事情,比如我需要移动的元数据和 ZooKeeper 相关数据?

最佳答案

仅复制日志和索引是不够的 - kafka 在 zookeeper 中存储偏移量和主题元数据。 MirrorMaker 实际上是一个非常简单的工具,它为源主题生成消费者以及为目标主题生成生产者,并运行直到所有消费者都消费了源队列。您找不到更简单的迁移主题的过程。

关于apache-kafka - 如何将主题从 kafka 集群复制到另一个 kafka 集群?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31549639/

相关文章:

java - 如何监控 Kafka 消息的应用程序处理以进行负载测试

.net - Kafka (.NET) 中的消息头

apache-kafka - 如果 offsets.retention.minutes=2 和 cleanup.policy=compact,kafka 会删除提交的偏移量或压缩它

scala - ERROR Uncaught throwable from user code : java. lang.IllegalStateException in spark Streaming

unit-testing - 卡夫卡流 : Stream Thread failed to lock State Directory

java - 在 1 毫秒内删除了 0 个过期的偏移量。 (kafka.coordinator.group.GroupMetadataManager)

java - 无法在 Kafka Producer 中实例化 GenericRecord 以将 avro 流式传输到主题

apache-kafka - 卡夫卡经纪人花了太长时间才出现

apache-kafka - Spring for Apache Kafka 中的监听器容器是什么?

java - Kafka消费者唤醒异常处理