我的 Airflow DAG 主要由 PythonOperators 组成,我想使用我的 Python IDE 调试工具来开发 Python“内部” Airflow 。 - 我依赖 Airflow 的数据库连接器,我认为将其“移出”用于开发的 Airflow 会很丑陋。
我一直在使用 Airflow,到目前为止只通过 CLI 实现了开发和调试。这开始变得令人厌烦。
有谁知道设置 PyCharm 或其他 IDE 的好方法,它使我能够在运行 airflow test ..
时使用 IDE 的调试工具集?
最佳答案
参加聚会可能有点晚,但也一直在寻找解决方案。希望能够尽可能接近“生产模式”调试代码(所以没有测试等)。
找到了“Python Debug Server”形式的解决方案。
它以相反的方式工作:您的 IDE 会监听并建立从远程脚本到编辑器的连接。
只需添加一个类型为“Python Debug Server”的新运行配置。
你会看到一个屏幕,告诉你远程 pip install pydevd-pycharm
。在同一页面上,您可以填写本地 IP 和调试器应该可用的端口以及可选的路径映射。
之后,只需将建议的 2 行代码添加到您希望调试 session 开始的位置。
运行配置以激活监听器,如果一切顺利,您的编辑器应该会在到达 settrace
-call 的位置后立即中断。
编辑/注意:如果您在编辑器中停止配置, Airflow 将继续执行 任务,请务必意识到这一点。
关于python - 使用 IDE 工具调试 Airflow 任务?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58931845/