我们可以使用 UI 方法将 jar 文件安装到特定集群。但是我们要求在工作区中的所有按需集群上安装它。
我们使用以下 shell 脚本将 jar 文件下载到 DBFS。不确定我们如何使用全局初始化脚本在所有集群中引用/安装这个 jar
curl https://repo1.maven.org/maven2/com/databricks/spark-xml_2.12/0.12.0/spark-xml_2.12-0.12.0.jar >/dbfs/FileStore/jars/maven/com/databricks/spark_xml_2_12_0_12_0.jar
任何帮助将非常感激!!
最佳答案
有一个替代解决方案可以将 jar 库添加到作业集群中，该解决方案在运行我们的作业时从 Azure 数据工厂调用。
在 ADF 中，在调用笔记本时，我们可以选择将 jar 目录包含在 DBFS 中，或者我们可以提供 Maven 坐标。
ADF SETTINGS
关于bash - 如何使用 ADF 在数据 block 中安装 jar，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/68556668/