python - 如何读取非常大的 CSV 中的一小部分行。 Pandas - 时间序列 - 大型数据集

Question

我在一个大文本文件中有一个时间序列。 该文件超过 4 GB。

因为它是一个时间序列，我只想阅读 1% 的行。

所需的极简示例:

df = pandas.read_csv('super_size_file.log',
                      load_line_percentage = 1)
print(df)

期望的输出:

>line_number, value
 0,           654564
 100,         54654654
 200,         54
 300,         46546
 ...

加载后我无法重新采样，因为首先加载它需要太多内存。

我可能想逐 block 加载并重新采样每个 block 。但对我来说似乎效率低下。

欢迎任何想法。 ;)

Answer 1

每当我必须处理一个非常大的文件时，我都会问“Dask 会做什么？”。

将大文件作为 dask.DataFrame 加载，将索引转换为列(由于完全索引控制不可用的解决方法)，并在该新列上进行过滤。

import dask.dataframe as dd
import pandas as pd

nth_row = 100  # grab every nth row from the larger DataFrame
dask_df = dd.read_csv('super_size_file.log')  # assuming this file can be read by pd.read_csv
dask_df['df_index'] = dask_df.index
dask_df_smaller = dask_df[dask_df['df_index'] % nth_row == 0]

df_smaller = dask_df_smaller.compute()  # to execute the operations and return a pandas DataFrame

这将为您提供较大文件中的第 0、100、200 行等。如果您想将 DataFrame 缩减为特定列，请在调用计算之前执行此操作，即 dask_df_smaller = dask_df_smaller[['Signal_1', 'Signal_2']]。您还可以使用 scheduler='processes' 选项调用计算以使用 CPU 上的所有内核。