是否有可能有一个带有动态主题的 kafka channel - 比如可以在其中指定主题 header 的 kafka 接收器，或者可以在其中使用 header 中的值的 HDFS 接收器？
我知道我可以多路复用以使用多个 channel (具有一堆 channel 配置)，但这是不可取的，因为我希望有一个动态 HDFS 接收器，而不是每个 kafka channel 都有一个 HDFS 接收器。
最佳答案
我的理解是 Flume Kafka channel 只能映射到单个主题，因为它同时生成和使用该特定主题的日志。
查看 Flume 1.6.0 的 KafkaChannel.java 中的代码，我可以看到只有一个主题被订阅(每个线程有一个消费者)。
关于hadoop - 使用水槽的kafka channel 中的动态主题，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/31364060/