etl - 用于 ETL 的 Apache NIFI

Question

将 Apache NIFI 用于 ETL 过程的效果如何，源为 HDFS，目标为 Oracle DB。 Apache NIFI 与 Pentaho、Datastage 等其他 ETL 工具相比有哪些局限性？

Answer 1

NiFi的主要优势
NiFi的主要优点:

直观的 gui，允许轻松检查数据

强大的交货保证

低延迟，您可以同时支持批处理和流式用例

它可以处理任何格式，不仅限于 SQL 表，还可以移动日志文件等。

架构感知，可以与 Kafka、Flink、Spark 等解决方案共享架构

NiFi 的主要限制
NiFi 确实是一个移动数据的工具，您可以丰富单个记录，但通常会提到使用小 t 进行“EtL”。您不想在 NiFi 中做的典型事情是连接两个动态数据源。
对于连接表，通常使用 Spark、Hive 或经典 ETL 替代方案等工具。
对于加入流，经常使用 Flink 和 Spark Streaming 等工具。
结论
NiFi 是一个很棒的工具，您只需要确保将它用于正确的用例。如果需要，您可以使用其他工具来补充它。

特强全披露:我是Cloudera的员工，该公司支持NiFi和Spark、Flink等其他项目。 我之前使用过其他 ETL 工具，但与 NiFi 的程度不同。