azure - ADF 限制 : Number of COPY Data Activities in One Pipeline?

Question

我有大约 25 个具有不同列(BLOB 存储)的 CSV 文件，每个文件大约有 250 列，并且想要加载它的 Azure SQL DB 单独表(基本层)。

在一个管道中创建一个包含 10 个 COPY 数据事件 (CDA) 的管道作为启动并执行它。 ADF 管道只是继续运行而不执行任何任务。当我将 CDA 减少到 7 时，管道会在几秒钟内开始工作并加载数据。为了检查 SQL 数据库是否有任何连接限制，同时执行了 3 个管道，每个管道有 7 个 CDA，它起作用了。

这里的问题是 --> 我们在管道中可以拥有的 CDA 数量是否有任何限制/限制。如果是，可以采取什么措施来改变它？

-谢谢

--编辑添加了应用提供的解决方案来更改并行副本属性的屏幕截图。

Answer 1

是的，有限制。由于您要从 Blob 文件存储迁移到 Azure SQL DB，因此要增加并行副本的数量，您需要设置parallelCopies 属性。

"activities":[
    {
        "name": "Sample copy activity",
        "type": "Copy",
        "inputs": [...],
        "outputs": [...],
        "typeProperties": {
            "source": {
                "type": "BlobSource",
            },
            "sink": {
                "type": "AzureSQLDBSink"
            },
            "parallelCopies": 32
        }
    }
]

从文件存储到非文件存储 - 将数据复制到 Azure SQL 数据库或 Azure Cosmos DB 时，默认并行复制还取决于接收器层(DTU/RU 数量)。

• 将数据复制到 Azure 表时，默认并行复制数为 4。

https://learn.microsoft.com/en-us/azure/data-factory/copy-activity-performance-features