python - 提高 Parquet 文件中重写时间戳的性能

Question

由于数据使用者的一些限制，我需要“重写”一些 parquet 文件，以将纳秒精度的时间戳转换为毫秒精度的时间戳。

我已经实现了这个并且它有效，但我对此并不完全满意。

import pandas as pd

        df = pd.read_parquet(
            f's3://{bucket}/{key}', engine='pyarrow')

        for col_name in df.columns:
            if df[col_name].dtype == 'datetime64[ns]':
                df[col_name] = df[col_name].values.astype('datetime64[ms]')

        df.to_parquet(f's3://{outputBucket}/{outputPrefix}{additionalSuffix}',
                      engine='pyarrow', index=False)

我目前正在 lambda 中为每个文件运行此作业，但我可以看到这可能会很昂贵，并且如果作业花费的时间超过 15 分钟，则可能并不总是有效，因为这是 Lambda 可以运行的最长时间。

文件可以较大(>500 MB)。

我可以考虑的任何想法或其他方法吗？我无法使用 pyspark，因为我的数据集包含无符号整数。

Answer 1

您可以尝试一次重写所有列。也许这会减少 pandas 中的一些内存副本，从而加快该过程(如果您有很多列):

df_datetimes = df.select_dtypes(include="datetime64[ns]")
df[df_datetimes.columns] = df_datetimes.astype("datetime64[ms]")