python-3.x - 从 PyCharm IDE 执行 databricks 魔术命令

标签 python-3.x pycharm databricks databricks-connect

使用 databricks-connect,我们可以从许多 IDE 成功运行在 Databricks 或 Databricks notebook 中编写的代码。 Databricks 还创建了许多神奇的命令,通过添加类似 %sql 的命令来支持其在每个单元格中运行多语言支持的功能。或 %md .我目前面临的一个问题是,当我尝试在 Pycharm 中执行 Databricks 笔记本时,如下所示:

  • 如何从 PyCharm 执行 Databricks 特定的魔法命令。
    例如。
    使用此命令在 Databricks 中的 Done 中导入脚本或笔记本 -
    %run
    './FILE_TO_IMPORT'
    

  • 在 IDE 中的位置 from FILE_TO_IMPORT import XYZ作品。
    再次,每次我下载 Databricks 笔记本时,它都会注释掉魔法命令,这使得它无法在 Databricks 环境之外的任何地方使用。
    每次我想做任何开发时,转换所有 databricks 魔术命令确实效率低下。
    有没有我可以设置自动检测 Databricks 特定魔术命令的配置?
    对此的任何解决方案都会有所帮助。提前致谢!!!

    最佳答案

    不幸的是,根据 databricks-connect版本 6.2.0-

    " We cannot use magic command outside the databricks environment directly. This will either require creating custom functions but again that will only work for Jupyter not PyCharm"


    同样,由于导入 py 文件需要 %run魔术命令因此这也成为一个主要问题。对此的解决方案是将要导入的文件集转换为 python 包,并通过 Databricks UI 将其添加到集群中,然后在 PyCharm 中导入和使用它。但这是一个非常乏味的过程。

    关于python-3.x - 从 PyCharm IDE 执行 databricks 魔术命令,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/63435030/

    相关文章:

    azure - Databricks Notebook 作为 livy session 端点的替代品

    scala - 可以在 spark 中处理多字符分隔符

    Python解析为小写并删除标点符号无法正常工作

    python - 在 tqdm 中获取后缀字符串

    pycharm - 快捷键 Ctrl + Alt + R 在 PyCharm 中不起作用

    python - 我如何告诉 PyCharm 用户定义的函数中的 python dict 类型是可以的?

    python - 使用 toPandas() 和 databricks 连接时遇到 'java.lang.OutOfMemoryError: Java heap space'

    python-3.x - Python3 : ValueError: too many values to unpack (expected 2)

    mysql - 如何使用 Python 查询 MySQL 中两列的日期范围

    centos - 启动 pycharm 时 CentOS 6.6 中 CPU 利用率异常飙升