python - 将数据写入单个机器的最快方法？

Question

我有一个由 100 台机器组成的网络，所有机器都运行 Ubuntu Linux。

在连续(流)的基础上，机器 X 被“喂”一些实时数据。我需要编写一个 python 脚本来获取数据作为输入，将其加载到内存中，进行处理，然后将其保存到磁盘。

这是大量数据，因此，理想情况下，我希望将内存中的数据拆分(使用某种逻辑)，然后以最快的方式将其中的一部分发送到每台单独的计算机。每台单独的计算机都将接受其数据片段、处理它并将其写入其本地磁盘。

假设我在 Python 中有一个数据容器(可以是列表、字典等)，已经处理并拆分成多个部分。将每条“数据”发送到每台机器的最快方法是什么？

Answer 1

你应该看看 pyzmq:

http://www.zeromq.org/bindings:python

和 zeromq (0mq) 的一般指南

http://nichol.as/zeromq-an-introduction

http://www.zeromq.org/