我正在阅读如何利用 Python 队列在节点之间发送和接收短消息。我正在模拟一组位于良好树结构中的节点。我希望其中一些节点向其父节点发送固定大小的数据。一旦这个父节点从它的一些子节点接收到数据,它就会“处理”它并向它的父节点发送一个“聚合”数据包......等等。
为了做到这一点,我被告知队列对于传递消息很有用,并且快速阅读它告诉我它将满足我的需求。但是,我发现实现基本设置并测试我的理解有点困难 - 1 个生产者(生成消息包)和 1 个消费者(使任务出列并处理它的工作线程)。
我在这里和其他地方搜索并阅读了很多帖子......并且我了解所有队列方法。我仍然不明白的是如何将队列关联或绑定(bind)到 2 个给定节点。
我希望节点 1 和节点 2 向节点 3 发送消息。对于这一基本场景,我必须以某种方式创建一个(或 2 个)队列并将其与节点 1 和节点 2“关联”,节点 2 和节点使用它来将消息放入节点 3 中。并且,node-3 还必须“监听”/“关联”此队列才能“获取”任务或使任务出列。
如果节点 1 和节点 2 是“生产者”,我应该将它们作为 2 个独立的线程,而节点 3 是第三个线程。然后,我必须创建一个队列 Q。然后,我应该让节点 1 和节点 2 创建消息,并将它们“放入”队列中。 Node-3 必须“以某种方式”得到通知/唤醒,才能从 Q 中“获取”这些消息并进行处理。
我见过
http://docs.python.org/library/queue.html#module-Queue
这是我迄今为止拥有的(未经测试的)代码:
================================================== =================
import threading
import queue
q = Queue.Queue(2) # create a queue of size 2.
# worker is node-3 which received msgs from 1 and 2 and fuses them.
def worker():
while True:
msg = q.get()
fuse_msgs(msg)
q.task_done()
# generate 3 worker threads. Node-3 could be both a producer and consumer. Each
# thread represents each node that will be a potential producer/consumer or both.
# need something like t1 - thread-1 for node-1 ...
for i in range(3):
t = Thread(target=worker)
t.setDaemon(True)
t.start()
# How can I make node-1 and node-2 to put items into a specified queue???
for msg in source():
q.put(item)
q.join()
============================================
我的方向正确吗?请让我知道我错在哪里以及我的误解......
感谢任何帮助。我有数百个节点和链接。如果我弄清了这个基础知识,我将能够顺利地继续前进......
谢谢, B.R.斯里尼。
最佳答案
我不是特别评论 python 代码,但就你的队列设计而言,似乎你只需要在你描述的节点 1,2,3 场景中一个队列。基本上,您有一个队列,其中节点 1 和节点 2 将消息放入其中,节点 3 从中读取消息。
您应该能够告诉节点 3 在队列中进行“阻塞”获取,因此它只会等待,直到它看到要处理的消息,并让节点 1 和 2 尽快生成输出尽可能。
根据每个节点的处理速度以及您期望的流量模式,您可能需要一个深度超过 2 条消息的队列,以便生产节点不必等待队列被清空。
关于python - 树中的生产者和消费者队列,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/1511359/