json - 数据工厂: AzureSQL in- and output for pipeline activity type AzureMLBatchExecution

标签 json machine-learning azure-sql-database azure-data-factory azure-machine-learning-service

在 Azure 数据工厂中,我尝试通过数据工厂管道调用 Azure 机器学习模型。我想使用一个 Azure SQL 表作为输入,另一个 Azure SQL 表作为输出。 首先,我部署了机器学习(经典)Web 服务。然后,我使用 LinkedService(类型=“AzureML”,使用 ML-webservice 的请求 URI 和 API key )和输入和输出数据集(“AzureSqlTable”类型)创建了一个 Azure 数据工厂管道。

部署和配置成功。管道按计划启动,但保持“运行”状态,没有任何结果。管道事件未显示在“监视和管理:事件”窗口中。

在不同的站点和教程中,我只找到使用带有 BLOB 输入和输出的事件类型“AzureMLBatchExecution”的 JSON 脚本。我想使用 AzureSQL 输入和输出,但无法正常工作。

有人可以提供示例 JSON 脚本或告诉我下面的代码可能有什么问题吗?

谢谢!

{
    "name": "Predictive_ML_Pipeline",
    "properties": {
        "description": "use MyAzureML model",
        "activities": [
            {
                "type": "AzureMLBatchExecution",
                "typeProperties": {},
                "inputs": [
                    {
                        "name": "AzureSQLDataset_ML_Input"
                    }
                ],
                "outputs": [
                    {
                        "name": "AzureSQLDataset_ML_Output"
                    }
                ],
                "policy": {
                    "timeout": "02:00:00",
                    "concurrency": 3,
                    "executionPriorityOrder": "NewestFirst",
                    "retry": 1
                },
                "scheduler": {
                    "frequency": "Week",
                    "interval": 1
                },
                "name": "My_ML_Activity",
                "description": "prediction analysis on ML batch input",
                "linkedServiceName": "AzureMLLinkedService"
            }
        ],
        "start": "2017-04-04T09:00:00Z",
        "end": "2017-04-04T18:00:00Z",
        "isPaused": false,
        "hubName": "myml_hub",
        "pipelineMode": "Scheduled"
    }
}

最佳答案

在 Microsoft 技术人员的帮助下,我成功完成了这项工作。上面提到的 JSON 脚本仅在 Schedule-section 中进行了更改:

 "start": "2017-04-01T08:45:00Z",
 "end": "2017-04-09T18:00:00Z",

管道仅在其开始时间和结束时间之间处于事件状态。由于计划程序设置为每周,因此管道会在一周开始时触发:该日期应在开始日期和结束日期之间。有关调度的更多详细信息,请参阅:https://learn.microsoft.com/en-us/azure/data-factory/data-factory-scheduling-and-execution

Azure SQL 输入数据集应如下所示:

{
"name": "AzureSQLDataset_ML_Input",
"properties": {
    "published": false,
    "type": "AzureSqlTable",
    "linkedServiceName": "SRC_SQL_Azure",
    "typeProperties": {
        "tableName": "dbo.Azure_ML_Input"
    },
    "availability": {
        "frequency": "Week",
        "interval": 1
    },
    "external": true,
    "policy": {
        "externalData": {
            "retryInterval": "00:01:00",
            "retryTimeout": "00:10:00",
            "maximumRetry": 3
        }
    }
}

我向该数据集添加了外部和策略属性(请参阅上面的脚本),之后,它就起作用了。

关于json - 数据工厂: AzureSQL in- and output for pipeline activity type AzureMLBatchExecution,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43202802/

相关文章:

python - Python 中的多元线性回归?

sql-server - MSOLEDBSQL 或 MSOLEDBSQL19 连接到 Azure 数据库时出现超时错误 - 工作正常 "from my machine"

c# - 使用 Entity Framework C# 限制与数据库的连接

java - 递归合并 JSON 结构

jquery - 更新每个 JSON 值的 HTML 值

python - CNTK Learner 和 python 中的压缩参数

machine-learning - 为什么我们要在softmax中使用Temperature?

sql-server - 只有 sysadmin 固定服务器角色的成员才能执行此操作。 Azure SQL Server 数据库与 SQL Server 数据库

javascript - 如何将包含 JSON 的 JSON NSString 从 Objective C 方法传递给 Javascript 方法

android - 使用 Retrofit 获取 Json 数组