python - 为什么kafka生产者向我显示错误kafka.conn:<容器ID>:9092的DNS查找失败？

Question

我暴露了端口9092，然后在docker内部运行kafka代理。
但是当我运行python脚本时我得到了错误

ERROR:kafka.conn:DNS lookup failed for b5c5b06f6761:9092 (AddressFamily.AF_UNSPEC)

我尝试了docker ip和machine ip而不是localhost，但是给出了相同的错误。

这是我的代码。

producer = KafkaProducer(bootstrap_servers=['localhost:9092'],
                         value_serializer=lambda x:
                         dumps(x).encode('utf-8'))

producer.send('vtintel', value={'id':123})

Answer 1

bitnami / kafka也存在相同问题。但是后来我意识到我需要在docker-commpose.yml中启用通过外部客户端访问Kafka的功能。有关更多信息，请参见https://hub.docker.com/r/bitnami/kafka/“使用内部和外部客户端访问Kafka”部分。

To do so, add the following environment variables to your docker-compose:

    environment:
      - KAFKA_CFG_ZOOKEEPER_CONNECT=zookeeper:2181
      - ALLOW_PLAINTEXT_LISTENER=yes
+     - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
+     - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,PLAINTEXT_HOST://:29092
+     - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kafka:9092,PLAINTEXT_HOST://localhost:29092

And expose the extra port:

    ports:
      - '9092:9092'
+     - '29092:29092'


and access it by 'localhost:29092' not 'localhost:9092' in your python-kafka code.

如果不明显，应将其添加到kafka容器(而不是zookeeper容器)中