我在 Hive 中的表很少,我的目标是在它们上创建一个 View ,然后通过 Apache NiFi 在 Kafka 中的一个主题上发布它。
有哪些选择可以完成?
我打算通过 Nifi 来做。
最佳答案
我相信Nifi会工作,
见 PutHiveStreaming
处理器,但听起来很费劲。
Kafka Connect HDFS能够消费 Kafka 数据并自动为您注册 Hive 表。
如果我误解了这一点,并且您正在尝试查询 Hive 并将其发布到 Kafka 主题中,那么可以肯定 - Nifi 完全有能力做到这一点
使用SelectHiveQL
和 PublishKafka
,但是 Kafka Connect JDBC Source 也应该能够查询 Hive 并写入 Kafka
关于hadoop - 通过 nifi 将 Hive 表中的数据放入 kafka 主题,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47116201/