我正在加载rdx
( csv
类似格式)大约 16GB 的文件作为 pandas 数据帧,然后我通过删除一些行来削减它。代码如下:
import pandas as pd
t_min, t_max, n_min, n_max, c_min, c_max = raw_input('t_min, t_max, n_min, n_max, c_min, c_max: ').split(' ')
data=pd.read_csv('/Users/me/Desktop/foo.rdx',header=None)
new_data=data.loc[(data[0] >= float(t_min)) & (data[0] <= float(t_max)) & (data[1] >= float(n_min)) & (data[1] <= float(n_max)) & (data[2] >= float(c_min)) & (data[2] <= float(c_max))]
此代码适用于较小的文件(~5GB),但它似乎无法加载此大小的文件。有解决方法吗?或者也许是一个 bash 脚本方法来做到这一点?
非常感谢任何帮助或建议。
最佳答案
尝试使用chunksize
参数,按 block 过滤,然后concat
t_min, t_max, n_min, n_max, c_min, c_max = map(float, raw_input('t_min, t_max, n_min, n_max, c_min, c_max: ').split())
num_of_rows = 1024
TextFileReader = pd.read_csv(path, header=None, chunksize=num_of_rows)
dfs = []
for chunk_df in TextFileReader:
dfs.append(chunk_df.loc[(chunk_df[0] >= t_min) & (chunk_df[0] <= t_max) & (chunk_df[1] >= n_min) & (chunk_df[1] <= n_max) & (chunk_df[2] >= c_min) & (chunk_df[2] <= c_max)])
df = pd.concat(dfs,sort=False)
关于python - 如何用 pandas 读取大型 csv?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55438686/