python - 使用 IDE 工具调试 Airflow 任务?

标签 python debugging pycharm ide airflow

我的 Airflow DAG 主要由 PythonOperators 组成,我想使用我的 Python IDE 调试工具来开发 Python“内部”​​ Airflow 。 - 我依赖 Airflow 的数据库连接器,我认为将其“移出”用于开发的 Airflow 会很丑陋。

我一直在使用 Airflow,到目前为止只通过 CLI 实现了开发和调试。这开始变得令人厌烦。

有谁知道设置 PyCharm 或其他 IDE 的好方法,它使我能够在运行 airflow test .. 时使用 IDE 的调试工具集?

最佳答案

参加聚会可能有点晚,但也一直在寻找解决方案。希望能够尽可能接近“生产模式”调试代码(所以没有测试等)。
找到了“Python Debug Server”形式的解决方案。
它以相反的方式工作:您的 IDE 会监听并建立从远程脚本到编辑器的连接。
只需添加一个类型为“Python Debug Server”的新运行配置。
你会看到一个屏幕,告诉你远程 pip install pydevd-pycharm。在同一页面上,您可以填写本地 IP 和调试器应该可用的端口以及可选的路径映射。
之后,只需将建议的 2 行代码添加到您希望调试 session 开始的位置。
运行配置以激活监听器,如果一切顺利,您的编辑器应该会在到达 settrace -call 的位置后立即中断。
airflow remote debug
编辑/注意:如果您在编辑器中停止配置, Airflow 将继续执行 任务,请务必意识到这一点。

关于python - 使用 IDE 工具调试 Airflow 任务?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58931845/

相关文章:

python - .get() python json 文件不和谐机器人

perl - mod_perl 调试和查看源代码

pycharm - 如何让 Pycharm 显示子文件夹的所有 git 提交历史记录?

pycharm - .pycharm_helpers/packaging_tool.py : Permission denied

python - 执行 django syncdb 时谷歌云 sql 错误

python - 在 Virtualenv 环境中安装 python-numpy

visual-studio - 如何获取GDB中的物理地址?

python - 如何显示<IPython.core.display.HTML对象>?

python - 如何有条件地替换 pandas 数据框列中的子字符串?

wpf - 调试WPF浏览器应用给出下载文件