azure - 是否可以向 azure 数据工厂管道中的数据添加具有特定值的列

标签 azure logging metadata pipeline azure-data-factory

我正在将数据从系统 X 复制到 Blob 存储作为 parquet 文件或 Excel 文件,是否可以再添加一个步骤来帮助我使用管道运行 ID 或触发器 ID 添加一列?

提前谢谢您

enter image description here

最佳答案

您从哪里提取数据?如果是数据库,就很简单,可以将其添加到选择数据时使用的sql语句中。例如:

select *, NewColumn='Value' from yourTable

如果您想要针对每个可能的数据源的解决方案,您可以在数据流中使用派生列转换:https://learn.microsoft.com/en-us/azure/data-factory/data-flow-derived-column

您还可以使用字符串函数从管道本身添加数据,例如:

@concat('select *, pipeId= ''', pipeline().RunId,''' from SalesLT.Address')

这将选择所有字段,以及一个名为 pipelineId 的附加字段,该字段每行都具有相同的值,并且将是管道运行 ID。

希望这有帮助!!

关于azure - 是否可以向 azure 数据工厂管道中的数据添加具有特定值的列,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57007733/

相关文章:

azure - 处理 Azure SQL 和地理复制上的外部数据源

php 返回 500 错误但没有错误日志

android - 单体机器人 : Searchable widget doesnt appear

ios - 了解 ISO mp4 m4a 元数据

java - 在 Dropwizard 中使用缓存?

azure - 使用 Rest-API 在 ADLS Gen2 中更新文件时出现问题

Azure 表存储访问时间 - 插入/读取

azure - 域更改后重新同步 Azure Active Directory

tomcat:我们如何在tomcat日志中记录用户名?

java - 如何在java spring boot中记录JSON对象?