有没有办法在 numpy 中加载/读取外部文件(即 AWS S3)?我在 S3 中存储了几个 npy 文件。我试图通过 S3 预签名 url 访问它们,但似乎 numpy.load 方法或 np.genfromtxt 都无法读取它们。
我不想将文件保存在本地文件系统上,然后将它们加载到 numpy 上。
有什么想法吗?
最佳答案
使用 s3fs
import numpy as np
from s3fs.core import S3FileSystem
s3 = S3FileSystem()
key = 'your_file.npy'
bucket = 'your_bucket'
df = np.load(s3.open('{}/{}'.format(bucket, key)))
根据要读取的文件,您可能必须设置 allow_pickle=True
。
关于python - 在 python 中从 S3 加载 npy 文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40608307/