我有一个用例，需要将 parquet 文件从 Lambda 保存到 S3。 我需要以追加模式存储 Lambda 函数中触发的事件。
我尝试使用 Avro，但它不允许将数据以附加模式存储在同一个 Parquet 文件中。
到目前为止，我发现只有 Spark 允许以追加模式将数据存储在 parquet 文件中...然后，我可以使用 Lambda 提交存储数据的 Spark 作业。 您对这个可能的解决方案有何看法？
但是，真的不存在不使用 Spark 的解决方案吗？ 提前致谢
最佳答案
无论格式如何，您都无法将数据附加到存储在 S3 中的任何文件。对不起。这只是 S3 和文件系统之间的差异之一。
关于java - 使用java将Parquet文件从Lambda保存到S3，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/43700531/