python - 带有 dill 的模块中的 Pickle 类定义

Question

我的模块包含一个应该是 pickleable 的类，包括实例和定义 我有以下结构:

MyModule
|-Submodule
  |-MyClass

在关于 SO 的其他问题中，我已经发现 dill 能够 pickle 类定义，并且通过将 MyClass 的定义复制到一个单独的脚本中并在那里 pickle 它肯定足够了，就像这样:

import dill as pickle

class MyClass(object):
    ...

instance = MyClass(...)
with open(..., 'wb') as file:
   pickle.dump(instance, file)

但是，导入类时不起作用:

pickle :

from MyModule.Submodule import MyClass
import dill as pickle

instance = MyClass(...)
with open(.., 'wb') as file:
    pickle.dump(instance, file)

正在加载:

import dill as pickle

with open(..., 'rb') as file:
    instance = pickle.load(file)

>>> ModuleNotFoundError: No module named 'MyModule'

我认为类定义是通过引用保存的，尽管它不应该按照 dill 中的默认设置。当 MyClass 被称为 __main__.MyClass 时，这是正确完成的，当在主脚本中定义类时会发生这种情况。

我想知道，有什么方法可以将 MyClass 从 MyModule 中分离出来？有什么方法可以使它像顶级导入 (__main__.MyClass) 这样 dill 知道如何将它加载到我的另一台机器上？

相关问题: Why dill dumps external classes by reference no matter what

Answer 1

Dill 确实只在 __main__ 中存储对象的定义，而不是模块中的对象定义，因此解决此问题的一种方法是在 main 中重新定义这些对象:

def mainify(obj):
    import __main__
    import inspect
    import ast

    s = inspect.getsource(obj)
    m = ast.parse(s)
    co = compile(m, '<string>', 'exec')
    exec(co, __main__.__dict__)

然后:

from MyModule.Submodule import MyClass
import dill as pickle

mainify(MyClass)
instance = MyClass(...)
with open(.., 'wb') as file:
    pickle.dump(instance, file)

现在您应该能够从任何地方加载 pickle，即使 MyModule.Submodule 不可用。