python-3.x - 是否可以将 pyRFC 安装到 Databricks Spark 集群上？

有一个 Py-pi pyRFC ，但和所有其他C-python库一样，它有很多依赖项，需要设置环境变量等。

是否可以将像 pyRFC 这样的 c-python 库安装到 Databricks 集群上？如果是这样，您将如何包含 SDK 依赖项？

也许有人已经尝试过 Java 版本？

最佳答案

是的，这是可能的。通常通过附加 cluster init script 来完成到一个集群。集群初始化脚本的任务是在所有集群节点上设置所有必要的依赖项、编译库/安装包等。通常，人们会下载他们的软件包等并将它们放在 DBFS 上。，然后使用 /dbfs 挂载从 init 脚本内部访问它们。

脚本可能如下所示(仅示例):

#!/bin/bash

# Unpack SAP SDK into some location
tar zxvf /dbfs/FileStore/SAP-SDK.tar.gz

# install package
pip install pyrfc

关于python-3.x - 是否可以将 pyRFC 安装到 Databricks Spark 集群上？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/75661949/