python - 如何在 Python 中读取 gzipped parquet 文件

Question

我需要打开一个压缩文件，里面有一个 Parquet 文件，里面有一些数据。我在尝试打印/读取文件中的内容时遇到了很多麻烦。我尝试了以下方法:

with gzip.open("myFile.parquet.gzip", "rb") as f:
    data = f.read()

这似乎不起作用，因为我收到一个错误，即我的文件 id 不是 gz 文件。谢谢!

Answer 1

您可以使用 read_parquet函数来自 pandas模块:

安装 pandas和 pyarrow :

pip install pandas pyarrow

使用 read_parquet返回 DataFrame :

data = read_parquet("myFile.parquet.gzip")
print(data.count()) # example of operation on the returned DataFrame