我正在使用 Spark Streaming 从 Kafka 读取数据(使用 Kafka direct stream API )。
流中实例化了多少个 Kafka 消费者？ Kafka消费者的数量是否等于执行者的数量？每个执行器是否实例化一个 Kafka 消费者(具有相同的组 ID)？
最佳答案
直接进场消费者数量will be exactly the same as the number of Kafka Partitions :
The Spark Streaming integration for Kafka 0.10 is similar in design to the 0.8 Direct Stream approach. It provides simple parallelism, 1:1 correspondence between Kafka partitions and Spark partitions, and access to offsets and metadata
和单独的消费者is initialized for each partition .
关于apache-spark - 每个直接流创建了多少消费者来读取记录？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/44686366/