apache-nifi - 在 kylo 中自定义数据摄取模板

标签 apache-nifi kylo

我正在尝试使用配置文件自定义 kylo 中可用的标准数据摄取模板。 我在 kylo-services/conf 目录中可用的 application.properties 文件中添加了字段名称 nifi.getfile.business_line1=Test。 当我尝试在处理器 ${business_line1} 中使用 nifi 表达式时,它会抛出 business_line1 not found。

或者有没有其他方法可以自定义标准数据摄取?

谁能解决这个问题...

最佳答案

使用您的示例,Kylo 将在创建提要时查找所有 GetFile 处理器,并将“business_line1”属性替换为值“Test”。但是 GetFile 处理器不允许自定义属性,您将收到类似于以下内容的错误消息:

'business_line1' validated against 'Test' is invalid because 'business_line1' is not a supported property

有几种方法可以解决这个问题:

  1. 如果您想使用 NiFi 表达式,则需要创建一个 UpdateAttribute 处理器并在其中添加“business_line1”属性。任何后续处理器都能够以 ${business_line1}

  2. 的形式访问该值
  3. 如果您希望所有 GetFile 处理器的某个属性具有相同的值,您可以在 Kylo 的 application.properties 中设置以下属性:nifi.getfile.file_filter=Test

Kylo 文档详细介绍了如何使用变量替换: http://kylo.readthedocs.io/en/latest/how-to-guides/ConfigurationProperties.html

在 NiFi 中,您可以使用 NiFi 表达式语言访问流文件属性: https://nifi.apache.org/docs/nifi-docs/html/expression-language-guide.html

关于apache-nifi - 在 kylo 中自定义数据摄取模板,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45717830/

相关文章:

java - 无法构建 Maven 项目,并出现以下 Maven 错误 org.codehaus.mojo :license-maven-plugin:1. 12:check-file-header

apache-nifi - 从处理器获取ProcessGroup

openssl - 通过 HTTPS 为 NiFi 生成自签名证书

hadoop - 使用 Nifi 将文件从 SFTP 服务器复制到 HDFS

凯洛 |可视化查询 Spark 作业 - 集群与客户端模式

mysql - PutSQL Nifi 处理器不发送任何数据

docker - 用于Docker Swarm中所有服务的基本镜像中的Avro ?? NiFi-> Kafka-> PostgreSQL

hadoop - Kylo 服务启动失败

mysql - 由于用户 'root' @'localhost' 的访问被拒绝(使用密码 : NO)),Kylo data_ingest 提要作业失败