我已经使用 Domino Data Lab 一段时间了,我能够在一台机器上启动 Python 或 R session ,而无需使用 Spark。
是否可以使用 Azure Databricks 执行相同的操作?也就是说,在没有 Spark(和集群)的情况下使用 Python 启动笔记本 session ?
最佳答案
您始终必须有一个“集群”,但它可以是单节点集群(仅具有驱动程序节点)。将此配置的工作节点数量设置为零。您无法在仅包含驱动程序的集群上运行 Spark。请参阅以下example在仅包含驱动程序的集群上使用 MXNet。
September 2020 platform release 提供的另一个选项是 Single Node Cluster 。 您可以在“集群模式”中选择“单节点”来创建Spark以本地模式运行的单节点集群。
关于python - 在没有 Spark 群集的情况下运行 Azure Databricks,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52766145/