我是 python 新手。我有一个大数组 a
,其维度如 (43200, 4000)
我需要保存它,因为我需要它以供将来处理。当我尝试使用 np.savetxt
保存它时,txt 文件太大,我的程序遇到内存错误,因为我需要处理 5 个相同大小的文件。有什么方法可以保存巨大的数组,从而占用更少的内存吗?
谢谢。
最佳答案
将数据保存到文本文件效率极低。 Numpy 有内置的保存命令 save , 和 savez/savez_compressed这将更适合存储大型数组。
根据您计划如何使用数据,您还应该研究 HDF5 格式(h5py 或 pytables),它允许您存储大型数据集,而不必将其全部加载到内存中。
关于python - 如何保存大数组以便在 python 中占用更少的内存?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18725541/