如何将装饰器的函数传递给作业?
我有一个装饰器可以使用该函数运行作业。
@job
def queueFunction(passedFunction, *args, **kwargs):
# Do some stuff
passedFunction(*args, **kwargs)
def myDecorator(async=True):
def wrapper(function):
def wrappedFunc(*args, **kwargs):
data = DEFAULT_DATA
if async:
queueFunction.delay(function, *args, **kwargs)
else:
data = queueFunction(function, *args, **kwargs)
return data
return wrappedFunc
return wrapper
我在尝试使用它时遇到错误。
Can't pickle <function Model.passedFunction at 0x7f410ad4a048>: it's not the same object as modelInstance.models.Model.passedFunction
使用 Python 3.4
最佳答案
发生的情况是您将原始函数(或方法)传递给 queueFunction.delay()
函数,但这与限定名称所说的函数不同。
为了在 worker 中运行函数,Python RQ 使用 pickle
module序列化函数及其参数。但是函数(和类)被序列化为可导入的名称,并且在反序列化时 pickle
模块只是导入记录的名称。但它确实首先检查这将导致正确的对象。因此,在 pickling 时,会测试限定名称以仔细检查它是否会生成完全相同的对象。
如果我们使用 pickle.loads
作为示例函数,那么大致会发生这样的事情:
>>> import pickle
>>> import sys
>>> sample_function = pickle.loads
>>> module_name = sample_function.__module__
>>> function_name = sample_function.__qualname__
>>> recorded_name = f"{module_name}.{function_name}"
>>> recorded_name
'_pickle.loads'
>>> parent, obj = sys.modules[module_name], None
>>> for name in function_name.split("."): # traverse a dotted path of names
... obj = getattr(parent, name)
...
>>> obj is sample_function
True
注意 pickle.loads
实际上是 _pickle.loads
;这并不重要,但重要的是可以访问 _pickle
并且它有一个可以使用限定名称找到的对象,而且它仍然是同一个对象。这甚至适用于类的方法 (modulename.ClassName.method_name
)。
但是当您装饰一个函数时,您可能会替换那个函数对象:
>>> def decorator(f):
... def wrapper(*args, **kwargs):
... return f, f(*args, **kwargs)
... return wrapper
...
>>> @decorator
... def foo(): pass
...
>>> foo.__qualname__
'decorator.<locals>.wrapper'
>>> foo()[0].__qualname__ # original function
'foo'
请注意,装饰器结果与原始名称有很大不同! Pickle 无法将其映射回装饰器结果或原始函数。
您将原始的、未修饰的函数传递给 queueFunction.delay()
,它的限定名称将与您替换它的 wrappedFunc()
函数的名称不匹配和;当 pickle
尝试导入在该函数对象上找到的完全限定名称时,它会找到 wrappedFunc
对象,这不是同一个对象。
有几种方法可以解决这个问题,但最简单的方法是将原始函数作为属性存储在包装器上,并重命名它的限定名称以匹配。这使得原始功能可用
你必须使用他 @functools.wraps()
实用装饰器将原始装饰函数中的各种属性复制到包装函数中。这包括原始名称。
这是一个改变原始函数限定名称的版本:
from functools import wraps
def myDecorator(async_=True):
def wrapper(function):
@wraps(function)
def wrappedFunc(*args, **kwargs):
data = DEFAULT_DATA
if async:
queueFunction.delay(function, *args, **kwargs)
else:
data = queueFunction(function, *args, **kwargs)
return data
# make the original available to the pickle module as "<name>.original"
wrappedFunc.original = function
wrappedFunc.original.__qualname__ += ".original"
return wrappedFunc
return wrapper
@wraps(function)
装饰器确保 wrappedFunc.__qualname__
被设置为 function
,所以如果 function
被命名为 foo
,所以现在是 wrappedFunc
函数对象。 wrappedFunc.original.__qualname__ += ".original"
语句然后将 wrappedFunc.original
的限定名称设置为 foo.original
,这就是pickle
又能找到它的确切位置!
注意:我将 async
重命名为 async_
以使上述代码在 Python 3.7 及更高版本上工作;从 Python 3.7 开始 async
is a reserved keyword .
我还看到您正在决定在装饰时运行同步或异步的东西。在那种情况下,我会重写它,以便在您每次调用该函数时不检查 aync_
bool 标志。只需返回不同的包装器:
from functools import wraps
def myDecorator(async_=True):
def decorator(function):
if async_:
@wraps(function)
def wrapper(*args, **kwargs):
queueFunction.delay(wrappedFunc.original, *args, **kwargs)
return DEFAULT_DATA
# make the original available to the pickle module as "<name>.original"
wrapper.original = function
wrapper.original.__qualname__ += ".original"
else:
@wraps(function)
def wrapper(*args, **kwargs):
return queueFunction(function, *args, **kwargs)
return wrapper
return decorator
我还重命名了各种内部函数; myDecorator
是一个装饰器工厂,它返回实际的装饰器,装饰器返回包装器。
无论哪种方式,结果都是现在 .original
对象可以被 pickle 了:
>>> import pickle
>>> @myDecorator(True)
... def foo(): pass
...
>>> foo.original
<function foo.original at 0x10195dd90>
>>> pickle.dumps(foo.original, pickle.HIGHEST_PROTOCOL)
b'\x80\x04\x95\x1d\x00\x00\x00\x00\x00\x00\x00\x8c\x08__main__\x94\x8c\x0cfoo.original\x94\x93\x94.'
关于python - 将装饰器的函数传递给 Python RQ,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33430008/