pyspark - 如何在pyspark中加载databricks包dbutils

Question

我试图在 pyspark 中运行以下代码。

dbutils.widgets.text('config', '', 'config')

这是给我一个错误说

 Traceback (most recent call last):
 File "<stdin>", line 1, in <module>
 NameError: name 'dbutils' is not defined

那么，有什么方法可以通过包含 databricks 包(例如导入)在 pyspark 中运行它？

感谢您的帮助

Answer 1

如解释
https://docs.azuredatabricks.net/user-guide/dev-tools/db-connect.html#access-dbutils

根据您直接在 databricks 服务器上执行代码的位置(例如，使用 databricks notebook 调用您的项目 egg 文件)或使用 databricks-connect 从您的 IDE 中，您应该初始化 dbutils，如下所示。 (其中 spark 是您的 SparkSession)

def get_dbutils(spark):
    try:
        from pyspark.dbutils import DBUtils
        dbutils = DBUtils(spark)
    except ImportError:
        import IPython
        dbutils = IPython.get_ipython().user_ns["dbutils"]
    return dbutils

dbutils = get_dbutils(spark)