python - dask 如何从调度器向 worker 分发数据？

Question

是否有关于 dask 如何拆分数据并将数据发送给 worker 的文档？我没能在官方网站上找到它。

Answer 1

如果您对数据移动政策感兴趣，那么您可能会对这份关于数据局部性的文档感兴趣:http://distributed.readthedocs.io/en/latest/locality.html

如果您对消息协议(protocol)感兴趣，那么这篇博文可能会有所帮助:http://matthewrocklin.com/blog/work/2016/04/14/dask-distributed-optimizing-protocol

作为一个警告，像这样的政策和协议(protocol)比编程接口(interface)更短暂，所以这个答案很可能会随着时间的推移而过时。不过，这应该让您了解需要考虑的事情种类。