python - 我们可以将 Databricks 输出传递给 ADF 作业中的函数吗?

标签 python json azure-functions azure-data-factory azure-databricks

任何人都可以帮助我使用 Databricks 和 Azure 功能吗? 我正在尝试将数据 block JSON 输出传递到 ADF 作业中的 azure 函数体,这可能吗? 如果是,如何? 如果否,还有什么其他替代方法可以做到这一点?

最佳答案

在笔记本中您可以使用:

dbutils.notebook.exit(myReturnValueGoesHere)(如前所述)

然后在 ADF 中,JSON 是一个位于 output.runOutput 上的对象,因此 @activity('RunNotebookActivityName').output.runOutput

如果您返回:

dbutils.notebook.exit('{"hello": {"some": {"object": "value"}}}')

您可以使用以下方式在 ADF 中阅读:

@activity('RunNotebookActivityName').output.runOutput.hello.some.object

很酷吗?

有关您可以执行的操作的完整列表,请参阅:

https://the.agilesql.club/2020/02/passing-status-messages-and-results-back-from-databricks-to-adf/

编辑

关于python - 我们可以将 Databricks 输出传递给 ADF 作业中的函数吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55727018/

相关文章:

python - 在 Python 3.5 中运行 PyGMO

javascript - 定义两个具有相同参数的变量

python - 具有许多json文件作为输入的Amazon EMR作业

python - Visual Studio Code 和 Azure 中的异步 python 函数

azure - docker-compose 在本地运行 Azure Functions

python - Django CSRF cookie 设置不正确

python - Keras 自定义损失函数不打印张量值

python - 需要说明可选参数

javascript - JS 正则表达式匹配引号内的逗号

c# - 从 Azure Function 中的 Azure SQL 访问几何列时出错