我需要一个有效的解决方案来将大量数据写入二进制文件。目前我使用 numpy 方法 .tofile
,它消耗了大部分运行时间。我的 MWE:
import numpy as np
def writeCFloat(f, ndarray):
np.asarray(ndarray, dtype=np.float32).tofile(f)
def writeCInt(f, ndarray):
np.asarray(ndarray, dtype=np.int32).tofile(f)
def writeC80(f, string):
np.asarray(string, dtype='a80').tofile(f)
if __name__ == "__main__":
f = open('test.out', mode='wb')
ndarray = np.zeros((10000,10000))
writeCInt(f, ndarray)
writeCFloat(f, ndarray)
writeC80(f, 'coordinates')
那么有没有比目前的解决方案更有效的方法呢?提前致谢。
最佳答案
您可以使用 dask
并行运行此操作。这还允许您扩展到超出单个线程的内存限制。
根据您的用例和您希望数据最终采用的文件类型,您可以执行以下操作:
MCVE
import numpy as np
import dask.array as da
def writeCFloat_dask(ndarray):
da.from_array(ndarray).astype('float32').to_zarr('float32.zarr')
def writeCInt_dask(ndarray):
da.from_array(ndarray).astype('int32').to_zarr('int32.zarr')
def writeC80_dask(string):
da.from_array(string).astype('a80').to_zarr('a80.zarr')
if __name__ == "__main__":
ndarray = np.zeros((100000,10000))
writeCInt_dask(ndarray)
writeCFloat_dask(ndarray)
writeC80_dask('coordinates')
或者,如果要将所有数组写入单个文件,则可以使用以下命令写入 HDF5:def returnCFloat_dask(ndarray):
return da.from_array(ndarray).astype('float32')
def returnCInt_dask(ndarray):
return da.from_array(ndarray).astype('int32')
def returnC80_dask(string):
return da.from_array(string).astype('a80')
if __name__ == "__main__":
ndarray = np.zeros((100000,10000))
da_float = returnCFloat_dask(ndarray)
da_int = returnCInt_dask(ndarray)
da_string = returnC80_dask('coordinates')
da.to_hdf5('test-out.hdf5', {'/float': da_float, '/int': da_int, '/string': da_string})
见 documentation on writing arrays to binary file types with Dask想要查询更多的信息。
关于python - 有效地将numpy数组写入二进制文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49172608/