python - 可视化 DASK 任务图

标签 python dask

我正在关注 this tutorial并创建了一个这样的图表:

from dask.threaded import get

from operator import add

dsk = {
   'x': 1,
   'y': 2,
   'z': (add, 'x', 'y'),
   'w': (sum, ['x', 'y', 'z'])
}

get(dsk, "w")

成功了,我得到了想要的输出。如何可视化计算图? visualize 方法需要一个 DASK 对象,而我只有一个字典。

提前致谢!

最佳答案

dask.visualize 适用于 Dask Collections -- API docs here提到 args 需要是一个“dask 对象”,这意味着一个 Dask 集合(我已经打开 this issue 来改进文档!)。

因此,如果您将任务图 dsk 包装在一个集合中,您应该能够可视化它:

import dask

from operator import add
from dask.threaded import get
from dask.delayed import Delayed

dsk = {
   'x': 1,
   'y': 2,
   'z': (add, 'x', 'y'),
   'w': (sum, ['x', 'y', 'z'])
}

# wrapping dsk in a Dask Collection (Delayed)
delayed_dsk = Delayed("w", dsk)

# call visualize as usual
delayed_dsk.visualize()

# Or,
dask.visualize(delayed_dsk)

task graph visualized

关于python - 可视化 DASK 任务图,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/70880012/

相关文章:

python - 具有不同时区的时间数组的时间戳减法

Python:pygame.QUIT()

python - 就地更新列表

Python仅重新匹配字符、数字和一些标点符号

python - arccos 中遇到 dask/python 无效值

python - 在 python 正则表达式中捕获重复的组

python - 在dask数据框中加载oracle数据框

pandas - 有没有办法获得 dask 中每组最大的项目?

python - 使用 Dask 导入大型 CSV 文件

python - 创建和合并多个数据集不适合内存,使用 Dask?