在 Databricks 中安装库有不同的方法,例如使用 GUI、Databricks CLI 等。
我想知道是否可以通过 Notebook 中的“%sh”命令安装 Maven 库。例如,在 Notebook for Python 库中执行此操作的一种选择是:
dbutils.library.installPyPI()
对 Python 库使用 "%sh"的另一种选择可能是执行以下操作:%sh
sudo apt-get install python3-pip -y
pip3 install --upgrade pyodbc
Maven 库是否有相应的“%sh”命令,例如这样的:%sh
mvn install --maven-coordinates "com.microsoft.azure.kusto:spark-kusto-connector:2.0.0"
最佳答案
不,没有这样的命令可以从笔记本内部执行,而且 %sh
在这里没有帮助,因为此命令将仅在驱动程序节点上执行,而库(-ies)需要安装在集群的所有节点上。您可以通过以下替代方法将库安装到集群:
libraries
subcommand of Databricks CLI 将库安装到现有集群(它在后台使用 REST API)关于maven - %sh 命令通过 Databricks 中的 notebook 安装 maven 库,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/65359087/