问题
Celery 工作人员在使用访问 ZEO 服务器的包时挂起任务执行。但是,如果我直接在 tasks.py
中访问服务器,则完全没有问题。
背景
我有一个程序可以读写 ZODB文件。因为我希望多个用户能够同时访问和修改该数据库,所以我将其管理为 ZEO server ,这应该使其跨多个进程和线程安全。我在程序的一个模块中定义数据库:
from ZEO import ClientStorage
from ZODB.DB import DB
addr = 'localhost', 8090
storage = ClientStorage.ClientStorage(addr, wait=False)
db = DB(storage)
中南合作中心
我显然正在尝试更复杂的操作,但假设我只想要根对象或其子对象的键。我可以在这种情况下产生问题。
我用模块 databases.py
中的上述代码创建了 dummy_package
,还有一个用于执行数据库访问的基本模块:
# main.py
def get_keys(dict_like):
return dict_like.keys()
如果我不尝试使用 dummy_package
进行任何数据库访问,我可以导入数据库并毫无问题地访问 root:
# tasks.py
from dummy_package import databases
@task()
def simple_task():
connection = databases.db.open()
keys = connection.root().keys()
connection.close(); databases.db.close()
return keys # Works perfectly
但是,尝试传递连接或 root
的子节点会使任务无限期挂起。
@task()
def simple_task():
connection = databases.db.open()
root = connection.root()
ret = main.get_keys(root) # Hangs indefinitely
...
如果有什么不同的话,这些 Celery 任务由 Django 访问。
问题
那么,首先,这里发生了什么?以这种方式访问 ZEO 服务器是否会导致某种竞争条件?
我可以让所有数据库访问由 Celery 负责,但这会导致代码难看。此外,它会破坏我的程序作为独立程序运行的能力。不能在 Celery worker 调用的例程中与 ZEO 交互吗?
最佳答案
不要将打开的连接或其根对象保存为全局对象。
每个线程都需要一个连接;仅仅因为 ZEO 使多线程访问成为可能,听起来您正在使用非线程本地的东西(例如 databases.py 中的模块级全局)。
将数据库保存为全局数据库,但在每个任务期间调用 db.open()。参见 http://zodb.readthedocs.org/en/latest/api.html#connection-pool
关于python - Celery worker 卡在 ZEO 数据库访问上(竞争条件?),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/17222354/