python - 如何使用带有分区和复制的 pykafka 创建新主题?

标签 python apache-kafka kafka-python

我希望能够使用 pykafka 在 Kafka 中以编程方式创建主题.我知道如果主题不存在,访问 TopicDict 将自动创建一个主题,但我不知道如何控制分区/副本的数量。此外,它还有一个严重的错误,如果 Kafka 宕机,它会陷入无限循环。基本上我想做如下的事情:

create_topic('mytopic', partitions=2, replicas=3)

最佳答案

Pykafka 是 Kafka 生产者和消费者 API 的 Python 实现,你想要实现的是在 Kafka 中使用另一个 API 执行的操作,即管理/操作 API(实际上是一组 Java 类)。我认为 Pykafka 没有为此提供的 API/包装器。 您可能正在观察的是由 Kafka 自动创建的主题。您可以做的是使用属性为自动创建的主题配置默认的分区数和副本数。

关于python - 如何使用带有分区和复制的 pykafka 创建新主题?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34684674/

相关文章:

python - 如何为 numpy 数组中的每个类别随机选择 1 个样本(整数编码)

python - 如何防止 CMake 破坏 Eclipse 项目中的 PyDev 配置

python - 在 Windows 10 上运行 rc.exe for Twisted 时失败

apache-kafka - 为什么我不能使用 Kafka Administration REST API for Bluemix Message Hub 以编程方式添加和删除主题?

error-handling - 使用 Kafka 的 Streams API 处理不良消息

python - kafka-python消费者没有收到消息

python - 如何使用 kafka-python 订阅多个 kafka 通配符模式的列表?

python - 如何通过 Mechanize 传递隐藏的重新验证?

javascript - 有没有办法让消费者使用 KafkaJS 获取最后 n 条消息?

django-unittest - 模拟 python kafka 生产者