hadoop - 通过 nifi 将 Hive 表中的数据放入 kafka 主题

标签 hadoop hive apache-kafka apache-nifi

我在 Hive 中的表很少,我的目标是在它们上创建一个 View ,然后通过 Apache NiFi 在 Kafka 中的一个主题上发布它。

有哪些选择可以完成?

我打算通过 Nifi 来做。

最佳答案

我相信Nifi会工作,
PutHiveStreaming处理器,但听起来很费劲。

Kafka Connect HDFS能够消费 Kafka 数据并自动为您注册 Hive 表。

如果我误解了这一点,并且您正在尝试查询 Hive 并将其发布到 Kafka 主题中,那么可以肯定 - Nifi 完全有能力做到这一点

使用SelectHiveQLPublishKafka ,但是 Kafka Connect JDBC Source 也应该能够查询 Hive 并写入 Kafka

关于hadoop - 通过 nifi 将 Hive 表中的数据放入 kafka 主题,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47116201/

相关文章:

hadoop - 如何为单个配置单元表创建事实和维度表以及增量数据

hadoop - 如何将Hive表的特定分区加载到没有分区的另一个Hive表中?

php - 可视化从Hive数据库到网站页面的数据

ubuntu - 在vmWare中关闭计算机后,Hadoop连接拒绝错误,我该如何解决?

filesystems - HDFS 目录中允许的最大文件数是多少?

Hadoop运行时错误

java - Kafka-Message 自定义 header 中允许的包

hadoop - 现有 MapReduce 与 YARN (MRv2) 的区别

apache-kafka - 是否可以为 Google Pub/Sub 主题定义架构,例如在 Kafka 中使用 AVRO?

apache-kafka - 如果我在主题级别和生产者级别设置 'compression.type',则优先