python - 如何保存大数组以便在 python 中占用更少的内存?

标签 python numpy

我是 python 新手。我有一个大数组 a,其维度如 (43200, 4000) 我需要保存它,因为我需要它以供将来处理。当我尝试使用 np.savetxt 保存它时,txt 文件太大,我的程序遇到内存错误,因为我需要处理 5 个相同大小的文件。有什么方法可以保存巨大的数组,从而占用更少的内存吗?

谢谢。

最佳答案

将数据保存到文本文件效率极低。 Numpy 有内置的保存命令 save , 和 savez/savez_compressed这将更适合存储大型数组。

根据您计划如何使用数据,您还应该研究 HDF5 格式(h5py 或 pytables),它允许您存储大型数据集,而不必将其全部加载到内存中。

关于python - 如何保存大数组以便在 python 中占用更少的内存?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18725541/

相关文章:

python - 点数未定义的 matplotlibs ginput()

Python Scipy Anneal 寻找超出范围的解决方案

python - 具有系数协方差矩阵的多项式值的误差

python - 如何旋转 numpy 数组?

python - 我如何迭代估算器?

python - 第三维上的堆栈矩阵 numpy

python - 尝试写入系统日志

python - scikit-learn 线性回归的意外交叉验证分数

python - 如何在给定的单词列表中找到单词的重复模式?

python - 根据 numpy 数组中设置的条件创建一个新的 numpy 数组