azure - 从 Azure 中的数据工厂在 ADL 存储中执行 U-SQL 脚本

标签 azure azure-data-factory azure-data-lake u-sql

我的 ADL 存储中存储了一个 USQL 脚本,我正在尝试执行它。脚本文件相当大 - 大约 250Mb。

到目前为止,我有一个数据工厂,我已经创建了一个链接服务,并正在尝试创建一个数据湖分析 U-SQL 事件。

我的 U-SQL 事件的代码如下所示:

{
"name": "RunUSQLScript1",
"properties": {
    "description": "Runs the USQL Script",
    "activities": [
        {
            "name": "DataLakeAnalyticsUSqlActivityTemplate",
            "type": "DataLakeAnalyticsU-SQL",
            "linkedServiceName": "AzureDataLakeStoreLinkedService",

            "typeProperties": {

                "scriptPath": "/Output/dynamic.usql",
                "scriptLinkedService": "AzureDataLakeStoreLinkedService",
                "degreeOfParallelism": 3,
                "priority": 1000
            },
            "policy": {
                "concurrency": 1,
                "executionPriorityOrder": "OldestFirst",
                "retry": 3,
                "timeout": "01:00:00"
            },
            "scheduler": {
                "frequency": "Day",
                "interval": 1
            }
        }
    ],
    "start": "2017-05-02T00:00:00Z",
    "end": "2017-05-02T00:00:00Z"
}

}

但是,我收到以下错误:

Error

Activity 'DataLakeAnalyticsUSqlActivityTemplate' from >pipeline 'RunUSQLScript1' has no output(s) and no schedule. Please add an >output dataset or define activity schedule.

我想要的是让这个事件按需运行,即我根本不希望它被安排,而且我也不明白我的例子中的输入和输出是什么。我尝试运行的 U-SQL 脚本正在对 ADL 存储上的数百万个文件进行操作,并在对内容进行一些修改后保存它们。

最佳答案

目前,ADF 不支持为 USQL 事件运行 ADLS 中存储的 USQL 脚本,即“typeProperties”下的“scriptLinkedService”必须是 Azure Blob 存储链接服务。我们将更新 USQL 事件的文档以使这一点更加清晰。

支持运行存储在 ADLS 中的 USQL 脚本已列入我们的产品待办事项中,但我们尚未确定具体日期。

王雪莉

关于azure - 从 Azure 中的数据工厂在 ADL 存储中执行 U-SQL 脚本,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43739628/

相关文章:

azure - ADLS Gen 1 与 Synapse Notebook Scala

azure - 如何从 Spark 作业中向 ADLS 进行身份验证

asp.net - 我应该保留对 Azure CloudTableClient/CloudTable 的引用吗?

azure - 尝试使用 PowerShell 将 Bitlocker key 备份到 Azure AD 时收到错误

azure - 如何将 ADLS gen2 文件夹/文件名动态传递到 ADF 或 Databricks 中的 Databricks Notebook

anaconda 上的 Python 找不到 azure.mgmt.datafactory

azure - Azure Data Lake 中压缩编解码器的影响

azure - 您可以在 Azure Devops 的内联 Azure Powershell 脚本中使用 IF 语句吗?

azure - 在 Azure 上创建资源的服务主体

c# - 带有自定义事件的天蓝色数据工厂项目