azure - 在数据管道中使用 SqlReaderQuery

标签 azure azure-data-factory

我通过查询将数据从 Azure SQL DB 复制到 Blob。

这是事件的脚本:

{
    "type": "Copy",
    "typeProperties": {
        "source": {
            "type": "SqlSource",
            "sqlReaderQuery": "select distinct a.*, b.Name from [dbo].[Transactxxxxxxx] a join dbo.Anxxxxx b on a.[Clixxxxx] = b.[Fixxxxxx] where b.Name = 'associations'"
        },
        "sink": {
            "type": "BlobSink",
            "writeBatchSize": 0,
            "writeBatchTimeout": "00:00:00"
        }
    },
    "inputs": [
        {
            "name": "Txnsxxxxxxxxxxx"
        }
    ],
    "outputs": [
        {
            "name": "Txnxxxxxxxxxxxx"
        }
    ],
    "policy": {
        "timeout": "01:00:00",
        "concurrency": 1,
        "retry": 3
    },
    "scheduler": {
        "frequency": "Hour",
        "interval": 1
    },
    "name": "Copyxxxxxxxxxx"
}

该事件似乎有效,但它没有将任何文件放入接收器中。

数据集指向正确的容器。

最佳答案

根据您提供的信息,我在我们的服务中找到了成功的运行日志。我注意到目标 blob 被指定为“experimentinput/Inxxx_To_xx_Associations.csv/Inxxx_To_xx.csv”。 Blob 名称是静态的,多次切片运行将覆盖同一个 Blob 文件。您可以利用partitionBy属性来获得动态blob名称。更多详情请引用这篇文章:https://azure.microsoft.com/en-us/documentation/articles/data-factory-azure-blob-connector/#azure-blob-dataset-type-properties .

关于azure - 在数据管道中使用 SqlReaderQuery,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37601367/

相关文章:

azure - 如何在 ADF 版本 2 中为 azure key Vault 创建链接服务?

entity-framework - 如何使用 Entity Framework 代码优先在虚拟列上添加索引?

azure-sql-database - 为什么 Azure 数据工厂似乎坚持将 DateTimes 作为字符串插入?

sql - 如何在 Azure Synapse 无服务器 SQL 池中使用 CETAS 创建外部表时添加自动递增列?

sql-server - Azure数据工厂: Can self-hosted Integration Runtime be configured to use Sql Integrated Security

azure - 如何删除 APIM 开发者门户的 "Welcome to the developer portal"部分?

具有高级存储 (SSD) 的 Azure 应用服务计划

bash - Azure、Windows 8.1、Docker : az commands does not work in docker toolbox

Azure 数据工厂 V2 逻辑或

azure - 除了使用 ARM 模板之外,还有其他方法可以部署 Azure 数据工厂吗?