我公司的分析团队每天都会在 S3 中上传一个 CSV 文件，该文件的大小通常为 300MB，但还在不断增加。我必须实现的 lambda 函数需要读取此文件并处理每一行。
我对此主要担心的是，文件的巨大尺寸可能会导致我的 lambda 执行上下文出现内存问题。 boto3 有什么办法可以从 S3 以流的形式下载该文件并在下载时读取它吗？如果不是，我应该采取哪种方法来解决这种情况？
提前致谢。
最佳答案
跟进我的问题，我刚刚发现智能打开:https://github.com/RaRe-Technologies/smart_open/tree/master/smart_open ，它以一种非常优雅的方式解决了我的问题。
关于python - 使用 boto3 从 S3 下载大文本文件，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/51085954/