我想用 cython 编译一个 python 函数,用于读取一个跳过一些记录的二进制文件(而不是读取整个文件然后切片,因为我会耗尽内存)。我可以想出这样的事情:
def FromFileSkip(fid, count=1, skip=0):
if skip>=0:
data = numpy.zeros(count)
k = 0
while k<count:
try:
data[k] = numpy.fromfile(fid, count=1, dtype=dtype)
fid.seek(skip, 1)
k +=1
except ValueError:
data = data[:k]
break
return data
然后我可以像这样使用函数:
f = open(filename)
data = FromFileSkip(f,...
但是,为了用 cython 编译函数“FromFileSkip”,我想定义函数中涉及的所有类型,所以“fid”也是文件处理程序。我如何在 cython 中定义它的类型,因为它不是“标准”类型,例如一个整数。 谢谢。
最佳答案
定义 fid
的类型无济于事,因为调用 python 函数的成本仍然很高。尝试使用“-a”标志编译您的示例以了解我的意思。但是,您可以使用低级 C 函数进行文件处理,以避免循环中的 Python 开销。为了举例,我假设数据从文件的开头开始,并且它的类型是 double
from libc.stdio cimport *
cdef extern from "stdio.h":
FILE *fdopen(int, const char *)
import numpy as np
cimport numpy as np
DTYPE = np.double # or whatever your type is
ctypedef np.double_t DTYPE_t # or whatever your type is
def FromFileSkip(fid, int count=1, int skip=0):
cdef int k
cdef FILE* cfile
cdef np.ndarray[DTYPE_t, ndim=1] data
cdef DTYPE_t* data_ptr
cfile = fdopen(fid.fileno(), 'rb') # attach the stream
data = np.zeros(count).astype(DTYPE)
data_ptr = <DTYPE_t*>data.data
# maybe skip some header bytes here
# ...
for k in range(count):
if fread(<void*>(data_ptr + k), sizeof(DTYPE_t), 1, cfile) < 0:
break
if fseek(cfile, skip, SEEK_CUR):
break
return data
请注意,cython -a example.pyx
的输出显示循环内没有 python 开销。
关于python - 将文件句柄传递给 cython 函数,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/15356606/