我能够从 databricks connect 中提取数据并完美地运行 spark 作业。我的问题是如何在远程集群上运行非 spark 或 native python 代码。出于保密原因不共享代码。
最佳答案
当您使用 databricks connect 时，您的本地计算机是您的 Spark 作业的驱动程序，因此非 Spark 代码将始终在您的本地计算机上执行。如果您想远程执行它，则需要将其打包为 wheel/egg，或将 Python 文件上传到 DBFS(例如，通过 databricks-cli )并将您的代码作为 Databricks 作业执行(例如，使用 Run Submit command Jobs REST API，或 create a Job with databricks-cli 并使用 databricks jobs run-now 来执行它)
关于python - 如何在数据 block 集群上运行非 Spark 代码？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/69527922/