有没有人可以快速获取 S3 中托管文件的行数？最好使用 CLI、s3api，但我也对 python/boto 持开放态度。
注意:解决方案必须以非交互方式运行，即隔夜批处理。
对，不，我正在这样做，它可以工作，但 20GB 文件需要大约 10 分钟:
aws cp s3://foo/bar - | wc -l
最佳答案
这里有两种方法可能对你有用......
Amazon S3 有一项名为 S3 Select 的新功能它允许您查询存储在 S3 上的文件。
您可以对文件中的记录(行)数进行计数，它甚至可以处理 GZIP 文件。结果可能因您的文件格式而异。
亚马逊雅典娜 也是一个可能合适的类似选项。它可以查询存储在 Amazon S3 中的文件。
关于amazon-web-services - s3 - 如何获得文件的快速行数？ wc -l 太慢了，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/49683929/