我的 ADL 存储中存储了一个 USQL 脚本,我正在尝试执行它。脚本文件相当大 - 大约 250Mb。
到目前为止,我有一个数据工厂,我已经创建了一个链接服务,并正在尝试创建一个数据湖分析 U-SQL 事件。
我的 U-SQL 事件的代码如下所示:
{
"name": "RunUSQLScript1",
"properties": {
"description": "Runs the USQL Script",
"activities": [
{
"name": "DataLakeAnalyticsUSqlActivityTemplate",
"type": "DataLakeAnalyticsU-SQL",
"linkedServiceName": "AzureDataLakeStoreLinkedService",
"typeProperties": {
"scriptPath": "/Output/dynamic.usql",
"scriptLinkedService": "AzureDataLakeStoreLinkedService",
"degreeOfParallelism": 3,
"priority": 1000
},
"policy": {
"concurrency": 1,
"executionPriorityOrder": "OldestFirst",
"retry": 3,
"timeout": "01:00:00"
},
"scheduler": {
"frequency": "Day",
"interval": 1
}
}
],
"start": "2017-05-02T00:00:00Z",
"end": "2017-05-02T00:00:00Z"
}
}
但是,我收到以下错误:
Error
Activity 'DataLakeAnalyticsUSqlActivityTemplate' from >pipeline 'RunUSQLScript1' has no output(s) and no schedule. Please add an >output dataset or define activity schedule.
我想要的是让这个事件按需运行,即我根本不希望它被安排,而且我也不明白我的例子中的输入和输出是什么。我尝试运行的 U-SQL 脚本正在对 ADL 存储上的数百万个文件进行操作,并在对内容进行一些修改后保存它们。
最佳答案
目前,ADF 不支持为 USQL 事件运行 ADLS 中存储的 USQL 脚本,即“typeProperties”下的“scriptLinkedService”必须是 Azure Blob 存储链接服务。我们将更新 USQL 事件的文档以使这一点更加清晰。
支持运行存储在 ADLS 中的 USQL 脚本已列入我们的产品待办事项中,但我们尚未确定具体日期。
王雪莉
关于azure - 从 Azure 中的数据工厂在 ADL 存储中执行 U-SQL 脚本,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43739628/