python - 带有 C 指针的 Pickle Cython 类

Question

我正在尝试为包含 C 指针的 cython 类编写一个 __reduce__() 方法，但到目前为止，关于执行此操作的最佳方法的信息很少。关于在使用 numpy 数组作为成员数据时如何正确编写 __reduce__() 方法的示例有很多。我想远离 Numpy 数组，因为它们似乎总是存储为 python 对象，并且需要调用 python API 和从 python API 调用。我来自 C 语言背景，所以我很乐意使用调用 malloc() 和 free() 手动处理内存，并试图将 python 交互保持在绝对最低限度.

但是我遇到了一个问题。我需要在我正在创建的类上使用等同于 copy.deepcopy() 的东西，来自最终将使用它的 Python 脚本。我发现执行此操作的唯一好方法是通过实现 __reduce__() 方法来为该类实现 pickle 协议(protocol)。这对于大多数原语或 python 对象来说都是微不足道的。但是，对于如何为动态分配的 C 数组执行此操作，我完全不知所措。显然我不能返回指针本身，因为在重建对象时底层内存已经消失，那么最好的方法是什么？我确信这将需要修改 __reduce__() 方法以及一个或两个 __init__() 方法。

我已经阅读了关于 pickling 扩展类型的 python 文档 found here以及关于选择 cython 类的堆栈溢出的几乎所有其他问题，例如 this question .

我的类(class)的精简版看起来像这样:

cdef class Bin:
    cdef int* job_ids
    cdef int* jobs
    cdef int primitive_data

    def __cinit__(self):
        self.job_ids = <int*>malloc(40 * sizeof(int))
        self.jobs = <int*>malloc(40 * sizeof(int))

    def __init__(self, int val):
        self.primitive_data = val

    def __dealloc__(self):
        free(job_ids)
        free(jobs)

    def __reduce__(self):
        return (self.__class__, (self.primitive_data))

Answer 1

一种方法是将数组中的数据序列化为 Python bytes大批。 __reduce__方法首先调用 get_data将数据指针转换为 <char*> 的方法然后到<bytes> (如果你试图直接去那里，Cython 不知道该怎么做)。 __reduce__返回此对象，以及对 rebuild 的引用函数(模块级函数，而不是方法!)，可用于使用 set_data 重新创建实例方法。如果您需要传递多个数组，如您的示例所示，您只需要接受更多参数给 rebuild并扩展 __reduce__ 返回的元组.

我没有对此做太多测试，但它似乎有效。如果您向它传递格式错误的数据，它可能会爆炸。

from cpython.mem cimport PyMem_Malloc, PyMem_Realloc, PyMem_Free
from libc.string cimport memcpy

cdef int length = 40

cdef class MyClass:
    cdef long *data

    def __cinit__(self):
        self.data = <long*>PyMem_Malloc(sizeof(long)*length)
        if not self.data:
            raise MemoryError()

    cdef bytes get_data(self):
        return <bytes>(<char *>self.data)[:sizeof(long)*length]

    cdef void set_data(self, bytes data):
        memcpy(self.data, <char*>data, sizeof(long)*length)

    def set_values(self):
        # assign some dummy data to the array 0..length
        for n in range(0, length):
            self.data[n] = n

    def get(self, i):
        # get the ith value of the data
        return self.data[i]

    def __reduce__(self):
        data = self.get_data()
        return (rebuild, (data,))

    def __dealloc__(self):
        PyMem_Free(self.data)

cpdef object rebuild(bytes data):
    c = MyClass()
    c.set_data(data)
    return c

示例用法(假设 MyClass 在 hello.pyx 中):

import hello
import pickle

c1 = hello.MyClass()
c1.set_values()
print('c1', c1)
print('fifth item', c1.get(5))

d = pickle.dumps(c1)
del(c1)  # delete the original object

c2 = pickle.loads(d)
print('c2', c2)
print('fifth item', c2.get(5))