python - 在没有 Spark 群集的情况下运行 Azure Databricks

标签 python azure databricks

我已经使用 Domino Data Lab 一段时间了,我能够在一台机器上启动 Python 或 R session ,而无需使用 Spark。

是否可以使用 Azure Databricks 执行相同的操作?也就是说,在没有 Spark(和集群)的情况下使用 Python 启动笔记本 session ?

最佳答案

您始终必须有一个“集群”,但它可以是单节点集群(仅具有驱动程序节点)。将此配置的工作节点数量设置为零。您无法在仅包含驱动程序的集群上运行 Spark。请参阅以下example在仅包含驱动程序的集群上使用 MXNet。

September 2020 platform release 提供的另一个选项是 Single Node Cluster 。 您可以在“集群模式”中选择“单节点”来创建Spark以本地模式运行的单节点集群。

关于python - 在没有 Spark 群集的情况下运行 Azure Databricks,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52766145/

相关文章:

python - 如何将一个模块导入到databricks笔记本中的另一个模块?

azure - Azure databricks 中的 Spring 版本

Python NetworkX 边缘列表超出范围

python - 将图像插入饼图切片

azure - 宇宙数据库 : How to detect request charges with LINQ queries

azure - 从 YAML 配置 azure-pipelines 中的构建中排除项目

python - 以高效的内存使用将 pandas 数据写入 Excel

python - 在每次迭代时为动态大小的张量创建占位符

c# - Azure移动应用程序,授权有效,但 token 过期不起作用

apache-spark - 如何将 Great Expectations 结果从 Apache Spark 保存到文件 - 使用数据文档