我有一个 Pandas 数据框,我正在尝试将其作为 Parquet 文件保存到 S3 中:
dftest = pd.DataFrame({'field': [1,2,3]})
dftest.to_parquet("s3://bucket_name/test.parquet", engine='pyarrow',
compression='gzip')
我收到:“FileNotFoundError:bucket_name/test.parquet”
最佳答案
虽然我仍然无法使 pandas.DataFrame.to_parquet 方法与 S3 一起使用,但我确实找到了似乎可行的不同解决方案:
import s3fs
from fastparquet import write
s3 = s3fs.S3FileSystem()
myopen = s3.open
write('s3://bucketname/test.parquet', dftest, compression='GZIP', open_with=myopen)
关于python - 当 S3 为目标时 pandas.DataFrame.to_parquet 失败,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51711213/