Azure 数据工厂管道 - 将单值源查询输出存储为变量,然后在复制数据事件中使用

标签 azure azure-functions azure-sql-database azure-pipelines azure-data-factory

我希望在 ADF 中实现增量表加载管道。我想要执行查询以从 Azure SQL 数据库中的表获取最新时间戳。然后,将该值存储为 ADF 中的变量,以便我可以在复制数据事件的“源”查询中引用它。

目标是仅从时间戳大于 SQL 表中最新时间戳的 API 请求数据。

此功能可以在 ADF 管道中实现吗?或者我是否需要查看 Azure 函数或数据流?

最佳答案

使用数据工厂这绝对是可能的。您可以使用查找事件或存储过程,但团队刚刚发布了新的脚本事件:

enter image description here

这将返回如下结果:

{
    "resultSetCount": 1,
    "recordsAffected": 0,
    "resultSets": [
        {
            "rowCount": 1,
            "rows": [
                {
                    "MaxDate": "2018-03-20"
                }
            ]
...
}

以下是将其读入变量的表达式:

@activity('Script1').output.resultSets[0].rows[0].MaxDate

关于Azure 数据工厂管道 - 将单值源查询输出存储为变量,然后在复制数据事件中使用,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/71929985/

相关文章:

azure - 使用事件中心捕获的优点

azure - 事件中心触发在带有 KEDA 的 AKS 上运行的 Azure Function 无法横向扩展

sql-server - 删除数据库范围的凭据

azure - 使用 Windows 身份验证登录 SQL Azure

azure - 将 Liquibase 与 Azure SQL 和 Azure Active Directory 身份验证结合使用

c# - 在 CloudBlobContainer 中找不到 Listblob()

python - 访问 ActivityTrigger 时,Azure Functions Blob 输出绑定(bind)会在路径中添加引号

node.js - 获取 Axios 错误 : connect ETIMEDOUT when making high volume of calls

Azure Active Directory 连接字符串

azure - SQL Azure 始终加密列 - 加密时如何更改列的大小?